Filebeat возможности и настройки

[Ivan_Bykov]

Подскажите пожалуйста, можно-ли настроить filebeat так что-бы он работал с двумя каталогами одновременно для мониторинга логов, и умеент -ли он работать с логами в zip файлах.
Сейчас у меня такие настройки
- type: log
paths:
- /opt/xxx/zzz/logs/*.log
#- /opt/xxx/zzz/logs/*/*.log

если я добавляю второй путь который сейчас закоментирован, то filebeat работает только со вторым путем.
В идеале хотелось бы его так настроить что-бы он сканировал текущий лог и логи которые завернуты в архивы zip по датам.
И есть ли возможность сделать индекс для текучки и отдельный для архивных логов?
Заранее спасибо, усиленно гуглю примеры такого но пока не очень то.

[Igor_Motov]

Должно работать. Скорее всего каких-нибудь пробелов не хватает. Посмотрите внимательно. Если /opt/xxx/zzz один и тот же, то можно еще на recurisve_glob посмотреть.

Компрессированный логи, пока не поддерживаются, на сколько я понимаю https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.html#recursive_glob

[Ivan_Bykov]

Действительно работает,
Harvester started for file: /opt/PA.Appeal.qa2/gromozeka/logs/gromozeka2.log сен 17 10:54:17 app2.dev.local filebeat[34350]: 2020-09-17T10:54:17.507+0300 INFO log/harvester.go:297 Harvester started for file: /opt/PA.Appeal.qa2/gromozeka/logs/2020-09/app-09-04-2020-2.log сен 17 10:54:20 app2.dev.local filebeat[34350]: 2020-09-17T10:54:20.463+0300 INFO [add_cloud_metadata] add_cloud_metadata/add_cloud_metadata.go:89 add_cloud_metadata: hosting provider type not detected. сен 17 10:54:20 app2.dev.local filebeat[34350]: 2020-09-17T10:54:20.464+0300 INFO log/harvester.go:297 Harvester started for file: /opt/PA.Appeal.qa2/gromozeka/logs/2020-09/app-09-08-2020-7.log сен 17 10:54:20 app2.dev.local filebeat[34350]: 2020-09-17T10:54:20.465+0300 INFO log/harvester.go:297 Harvester started for file: /opt/PA.Appeal.qa2/gromozeka/logs/2020-09/app-09-14-2020-7.log сен 17 10:54:21 app2.dev.local filebeat[34350]: 2020-09-17T10:54:21.464+0300 INFO [publisher_pipeline_output] pipeline/output.go:144 Connecting to backoff(async(tcp://192.168.0.246:5044)

Но отчего-то я немногу найти данные в поиске elastic скажем за 09-14-2020, а вот данные из gromozeks2.log которые текущие, отлично отображаются

[Ivan_Bykov]

Так-же ради интереса решил положить еще пару файлов в каталог
Harvester started for file: /opt/PA.Appeal.qa2/gromozeka/logs/app-07-09-2020-1.log

но и эту дату поиск не желает мне показывать.
В чем загвоздка?

[Igor_Motov]

Может, filebeat думет, что он уже эти файлы видел?