Управление ILM из Logstash для Filebeat

[Sergei_Frolov]

Добрый день.

Хочу сделать централизованную отправку логов, собранных модулями Filebeat в кафку, и из кафки - в Elasticsearch.

Делаю как написано в этой инструкции:

Example: Set up Filebeat modules to work with Kafka and Logstash | Logstash...

Это работает, но получаю ошибки ILM при такой конструкции output:

output {
  elasticsearch {
    hosts => ["https://хосты:9200"]
    ssl => true
    ssl_certificate_verification => false
    cacert => "/etc/logstash/certs/elasticsearch_logs/ca.crt"
    user => "logstash_internal"
    password => "пароль"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    pipeline => "%{[@metadata][pipeline]}"
  }
}

как я понимаю такая конструкция (с указанием ilm_rollover_alias вместо index) не работает:

    output {
      elasticsearch {
        ilm_rollover_alias => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
        ilm_pattern => "000001"
      }
    }

скажите пожалуйста, как же управлять ILM для индекса с логами, собранными модулями файлбита, чтобы это работало?

[Igor_Motov]

@Sergei_Frolov

но получаю ошибки ILM при такой конструкции output:

Какие ошибки?

[Sergei_Frolov]

Как оказалось, нужно было сделать:

index => "%{[@metadata][beat]}-%{[@metadata][version]}"

вместо:

index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

(как написано в докуменатции)

предварительно создав индекс с помощью filebeat setup --pipelines --modules system

Теперь все работает, спасибо!