Запись событий FileBeat в разные индексы

Elastic In Your Native Tongue Вопросы на русском языке
1

Прошу не судить строго. С ELK только начинаю знакомиться, а есть одна срочная задача, которую нужно решить.
Я собираю с МЭ Cisco ASA NetFlow и SysLog с помощью соответствующих модулей FileBeat и пишу их напрямую в Elastic.
При этом все собираемых логи пишутся по умолчанию в индекс filebeat-7.4.0-2019.10.14-000001, новые индексы по датам не создаются.
Мне бы хотелось не только разбивать индексы по датам, но и писать отдельные события в отдельные индексы
например netflow в индекс filebeat-7.4.0-netflow-date
syslog ASA в индекс filebeat-7.4.0-asa-syslog-date

Заранее спасибо.

2

Это можно задать в параметре output.elasticsearch в конфигурации filebeat.

3

В файле Filebeats.yml я вставил следующие строки

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  hosts: ["localhost:9200"]
index: "Filebeat-%{[event.module]}-%{[agent.version]}-%{+yyyy.MM.dd}"

В разделе

#==================== Elasticsearch template setting ==========================
setup.template.settings:
index.number_of_shards: 1
setup.template.name: "filebeat-new"
setup.template.pattern: "Filebeat-*"
setup.template.overwrite: true

Результата анологичный. Индексы создаются как и прежде.
В логах вижу следующее:

2019-10-16T14:08:11.964+0300 INFO template/load.go:108 Try loading template filebeat-7.4.0 to Elasticsearch
2019-10-16T14:08:12.054+0300 INFO template/load.go:100 template with name 'filebeat-7.4.0' loaded.

4

Вы не могли бы отформатировать здесь фрагменты из файлов конфигурации с помощью символов ``` перед и после каждого фрагмента. В yaml пробелы имеют большое значение и без форматирование, вся эта информация теряется.

5

отредактировал.

6

Я имел ввиду так:
```
Отформатированный
многострочный
текст
```

На экране он будет выглядить так

Отформатированный
    многострочный
        текст
7

Пробелы важны. В elasticsearch output пробелов перед index: ...... не хватает, а elasticsearch template setting перед index.number_of_shards: 1

Забыл сказать, что если вы используете ILM, то надо index задавать там а не в output.elasticsearch, где этот параметр игнорируется.

8

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.