Перемешивает логи

Elastic In Your Native Tongue Вопросы на русском языке
1

Всем привет!
Собираю логи logstash с сервера.
input { file { path => "C:/HTTP/test/log/**/*" start_position => "beginning" close_older => "1 hour" ignore_older => "2 hour" sincedb_clean_after => "2 hour" } } output { elasticsearch { hosts => ["http://elastic.test.com:9222"] index => "test-%{+MM.dd}" }
проблема в том что эластик меняет логи местами, файл один и тот же
логи с файла
20:02:17.456 Hello
20:02:19.269 World
20:05:02.572 Thanks
20:05:02.572 Elastic
20:05:02.572 Kibana
20:05:12.572 Logstash
В эластике
20:02:17.456 Hello
20:02:19.269 World
20:05:02.572 Thanks
20:05:02.572 Kibana
20:05:12.572 Logstash
20:05:02.572 Elastic
Отсюда вопрос, как с этим бороться?

2

Elasticsearch порядок входящих документов никак не учитывает. Все что можно сделать - это отсортировать по какому-нибудь уникальному возрастающему полю, например время. Если разрешения по времени не хватает и очень нужен порядок, то можно добавить поле содержащие offset лога как тай-брейк в сортировку.

3

а время у меня одно и тоже
что в таком случае может помочь?

image
image410×1396 16.6 KB

4

См. выше:

5

а можно пример какой то?

6

Пример добавления поля в сортировку есть в документации. Позиция в логе - это просто поле в filebeat.

7

а использую logstash , пробовал filebeat много путей с логами он не успевает, так быстро их отрабатывать

8

Logstash это не поддерживает https://github.com/logstash-plugins/logstash-input-file/issues/7

9

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.