Filebeat + docker swarm ошибка парсинга

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день. Во время парсина логов контейнерв docker swarm возникает ошибка:
ERROR [reader_json] readjson/json.go:65 Error decoding JSON: invalid character '\x06' looking for beginning of value

настройки filebeat:

    filebeat.inputs:
    - type: log
      paths:
       - '/var/lib/docker/containers/*/*.log'
      json.message_key: log
      json.keys_under_root: true
      json.add_error_key: true
      processors:
      - add_docker_metadata: ~

Подскажите как решить проблему

2

В этом файле, где-то находиться символ с кодом \x06, надо открыть этот файл в редакторе, который показывает такие символы и удалить его.

3

Спасибо за ответ. Нашел кто добавлял этот символ в логи, проблема решена.
Вопрос. Как лучше парсить логи nginx из docker, они их собирает одной строкой.

4

Вы модуль nginx сконфигурировали?

5

Сконфигурировал таким образом.

filebeat
filebeat884×463 13.9 KB

6

И модуль nginx у вас разрешен в конфигурации filebeat?

7

Да конечно включен.
img-2021-06-22-14-07-06
Данные сразу в elasticsearch отправляются, может правильнейв logstash отправлять и там через grok их обрабатывать?

8

Мне сложно сказать, что конкретно происходив без воспроизведения вашей ситуации, но я так подозреваю ваша маска в var.paths будет собирать кучу логов докера кроме логов nginx. Модуль nginx с такими логами разобраться скорее всего не сможет - поэтому и валит все в одну строку. Как эта строка выглядит и из какого лога вы ее получаете?

9

Выглядит так лог.

img-2021-06-24-16-16-04
img-2021-06-24-16-16-041560×318 38.8 KB

Как тогда правильно модуль nginx настроить?