Filebeat не читает последнюю строку файла

Elastic Stack Beats
1

Добрый день.
Столкнулся со следующей проблемой - filebeat не читает последнюю строку файла.
Вот, например, есть файлик (input.log) со следующим содержимым

{7,1560,2},
{7,1562,3},
{7,1564,4},
{7,1565,5},
{7,1571,6}

Filebeat читает только первые 4 строки, т.е последняя прочитанная строка - {7,1565,5}.
После добавления записи в файл он приобретает следующий вид

{7,1560,2},
{7,1562,3},
{7,1564,4},
{7,1565,5},
{7,1571,6},
{7,1580,7}

Тогда filebeaat опять вычитывает только предпоследнюю строку - {7,1571,6},

Пробовал различные вариации multiline pattern, без него, исход один и тот же.

Текущая конфигурация (файл filebeat.yml, для теста):

output.file:
  path: "/tmp"
  filename: debug.txt
filebeat.inputs:
  - type: filestream
    enabled: true
    paths:
      - C:\ELK\input_test\input.log     
    fields:
      log_type: all
      log_timezone: Europe/Moscow
      tags: ["eventlog_vcbl"]

Для примера, что пишет в debug.txt (результат обработки первого примера).

{"@timestamp":"2021-10-23T19:57:44.451Z","@metadata":{"beat":"filebeat","type":"_doc","version":"7.15.1"},"input":{"type":"filestream"},"fields":{"log_timezone":"Europe/Moscow","tags":["eventlog_vcbl"],"log_type":"all"},"ecs":{"version":"1.11.0"},"host":{"name":"erp-dev"},"agent":{"name":"erp-dev","type":"filebeat","version":"7.15.1","hostname":"erp-dev","ephemeral_id":"22cca3cc-29a4-4d98-b11a-1fbd1196cc2d","id":"f9f9b509-27f1-4bbb-bdef-7e4f975aa5e0"},"message":"{7,1560,2},","log":{"offset":16,"file":{"path":"C:\\ELK\\input_test\\input.log"}}}
{"@timestamp":"2021-10-23T19:57:44.451Z","@metadata":{"beat":"filebeat","type":"_doc","version":"7.15.1"},"log":{"offset":29,"file":{"path":"C:\\ELK\\input_test\\input.log"}},"message":"{7,1562,3},","fields":{"tags":["eventlog_vcbl"],"log_type":"all","log_timezone":"Europe/Moscow"},"input":{"type":"filestream"},"ecs":{"version":"1.11.0"},"host":{"name":"erp-dev"},"agent":{"name":"erp-dev","type":"filebeat","version":"7.15.1","hostname":"erp-dev","ephemeral_id":"22cca3cc-29a4-4d98-b11a-1fbd1196cc2d","id":"f9f9b509-27f1-4bbb-bdef-7e4f975aa5e0"}}
{"@timestamp":"2021-10-23T19:57:44.451Z","@metadata":{"beat":"filebeat","type":"_doc","version":"7.15.1"},"log":{"file":{"path":"C:\\ELK\\input_test\\input.log"},"offset":42},"message":"{7,1564,4},","input":{"type":"filestream"},"fields":{"tags":["eventlog_vcbl"],"log_type":"all","log_timezone":"Europe/Moscow"},"ecs":{"version":"1.11.0"},"host":{"name":"erp-dev"},"agent":{"id":"f9f9b509-27f1-4bbb-bdef-7e4f975aa5e0","name":"erp-dev","type":"filebeat","version":"7.15.1","hostname":"erp-dev","ephemeral_id":"22cca3cc-29a4-4d98-b11a-1fbd1196cc2d"}}
{"@timestamp":"2021-10-23T19:57:44.451Z","@metadata":{"beat":"filebeat","type":"_doc","version":"7.15.1"},"agent":{"ephemeral_id":"22cca3cc-29a4-4d98-b11a-1fbd1196cc2d","id":"f9f9b509-27f1-4bbb-bdef-7e4f975aa5e0","name":"erp-dev","type":"filebeat","version":"7.15.1","hostname":"erp-dev"},"log":{"offset":55,"file":{"path":"C:\\ELK\\input_test\\input.log"}},"message":"{7,1565,5},","input":{"type":"filestream"},"fields":{"tags":["eventlog_vcbl"],"log_type":"all","log_timezone":"Europe/Moscow"},"ecs":{"version":"1.11.0"},"host":{"name":"erp-dev"}}

Очень нужна последняя строка, проблему дублирования данных я решу на уровне приёмника (logstash). Версия filebeat 7.15.1

Помогите, пожалуйста.

2

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.