Как писать напрямую из filebeat в elasticsearch в индекс с кастомным именем (не filebeat-*)

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день! Скажите, возможно ли напрямую писать в эластик из filebeat в индекс, имя которого отличается от filebeat?

Никак не получается. Делаю такой вот конфиг:

filebeat.config.inputs:
  enabled: true
  path: inputs.d/*.yml
  reload.enabled: false

setup.template:
  settings:
    index.number_of_shards: 3
  name: "logs-bulk"
  pattern: "logs-bulk-*"
  enabled: true

output.elasticsearch:
  hosts: [ "https://es-logs-t1b.mydomain:9200","https://es-logs-t2b.mydomain:9200","https://es-logs-t3b.mydomain:9200"]
  username: "filebeat_ingest_user"
  password: "password"
  index: "logs-bulk"
  pipeline: filebeat-elasticsearch-docker-default-pipeline
  worker: 3
  bulk_max_size: 200
  ssl.certificate_authorities: ["/etc/filebeat/certs/ca.pem"]
  ssl.verification_mode: none

вроде должен писаться в индекс logs-bulk

но нет. пишется в индекс filebeat

в логе файлбита даже при запуске:

2021-09-17T23:53:28.025+0300	INFO	[index-management]	idxmgmt/std.go:184	Set output.elasticsearch.index to 'filebeat-7.14.1' as ILM is enabled.

расскажите пожалуйста, как писать напрямую без логстеша в эластик из файлбита в индекс с кастомным именем? все права для юзера на запись есть.

а если еще расскажете, как сделать, чтобы работал при этом ilm и создавался индекс с ilm-паттерном"{now/d}-000001" буду вне себя от счастья!

2

Если используется ILM (а он используется по умолчания начиная с версии 7.0), то имя индекса в output.elasticsearch игнорируется, и вместо этого имена строятся из setup.ilm.rollover_alias и setup.ilm.pattern, там все и надо менять.

1 Like
3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.