バージョン7.8のElasticsearchとfilebeatを使用しています。
filebeatからElasticCloudにデータを転送するのですが、その際にingestノードのパイプラインを呼び出して、データの中身に応じて登録先のインデックスを振り分けるという処理を行っています。
filebeat.ymlで呼び出すパイプラインを以下のように指定しています
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
# Array of hosts to connect to.
#hosts: ["localhost:9200"]
# Optional protocol and basic auth credentials.
protocol: "https"
#username: "elastic"
#password: "changeme"
pipeline: "XXXXX"
■問題点
filebeatからElasticsearchにファイルを転送したところ、パイプラインによって指定しているインデックスではなく、デフォルトの「filebeat-7.8.0-2020.06.23-000001」インデックスにデータが登録されてしまい、filebeatからパイプラインをコールできていないように見えています。
その際、ElasticCloudのコンソールログに以下のメッセージが出力されます
moving index [filebeat-7.8.0-2020.06.23-000001] from [{"phase":"hot","action":"unfollow","name":"wait-for-yellow-step"}] to [{"phase":"hot","action":"rollover","name":"check-rollover-ready"}] in policy [filebeat]
ちなみに、バージョン7.7のfilebeatからバージョン7.8のElasticsearchにデータを転送したところ、期待通りパイプラインで指定したインデックスにデータが登録されております。使用しているfilebeat.yml及び呼び出すパイプラインは同じです。