Настройка модуля nginx

Добрый день.
Имеется кластер из 3х нод ES 7.1, отдельно Kibana 7.1, отдельно Logstash 7.1.
Решил добавить логи с серверов с Nginx 1.14 с помощью соответствующего модуля. Поставил filebeat 7.3.2. Включил модуль nginx, настройки оставил по умолчанию.

Конфиг filebeat

> #============================= Filebeat modules ===============================
> filebeat.config.modules:
>   path: ${path.config}/modules.d/*.yml
>   reload.enabled: false
> ==================== Elasticsearch template setting ==========================
> setup.template.settings:
>   index.number_of_shards: 1
> #================================ General =====================================
> tags: ["nginx"]
> #----------------------------- Logstash output --------------------------------
> output.logstash:
>   hosts: ["10.0.215.141:5044"]

Логи приходят в индекс, но кажется не все работает. В описании модуля написано

  • Sets the default paths to the log files (but don’t worry, you can override the defaults)
  • Makes sure each multiline log event gets sent as a single event
  • Uses ingest node to parse and process the log lines, shaping the data into a structure suitable for visualizing in Kibana
  • Deploys dashboards for visualizing the log data

Точно работает только первая часть.
Все события сейчас пишутся отдельно, так же, как и до включения модуля. Как проверить работает ли совмещение строк логов?
Структура файлов логов имеет тот же вид, что и на других серверах с filebeat, без использования модулей.
В списке dashboards доски с именем [Filebeat Nginx] нет, в списке визуализаций ничего похожего тоже нет.

В чем может быть проблема?

Похоже что проблема в том, что модуль не работает через LS, а только напрямую с ES. Если так сделать, то у меня появятся доски и изменится вид логов?

Похоже на баг. Должно работать через logstash теоретически. Но я никогда не пробовал.

Дашборды можно довать вручную и на прямую в любой момент https://www.elastic.co/guide/en/beats/filebeat/current/load-kibana-dashboards.html надо только на прямую filebeat к elasticsearch в этот момент подключить.

1 Like

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.