Доброго дня!
Моя цель получить точное количество логов по пути указанному в auditbeat в elastic для построения графика получения логов по дням в kibana.
Проблема в том, что я получаю несколько дублей одного и того же лога в эластике. Auditbeat успевает отследить изменения в файле лога и отправить по нему несколько сообщений. Лог файл многострочный состоит из запроса и ответа на запрос, после получения ответа состояние файла не изменяется, ответ приходит в считанные доли секунд:
2021-12-09 16:52:24.6435|INFO|logfile|Запрос:
2021-12-09 16:52:24.6747|INFO|logfile|Ответ:
Помогите разобраться с частотой сканирования файлов.
Или возможно есть способ как прикрутить формируемый хеш файла как его id в эластике?
Мой конфиг auditbeat:
auditbeat.modules:
- module: file_integrity
paths:
- C:/xml_logs/GT/xml/
scan_at_start: true
recursive: true
setup.template.settings:
index.number_of_shards: 1
tags: ["xml"]
output.logstash:
hosts: ["10.1.1.4:5044"]
logging:
to_files: true
files:
path: C:/ProgramData/auditbeat/Logs
level: debug