Filebeat7.8にアップデート時のデータ転送の挙動

バージョン7.8のElasticsearchとfilebeatを使用しています。
filebeatからElasticCloudにデータを転送するのですが、その際にingestノードのパイプラインを呼び出して、データの中身に応じて登録先のインデックスを振り分けるという処理を行っています。
filebeat.ymlで呼び出すパイプラインを以下のように指定しています

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]

  # Optional protocol and basic auth credentials.
 protocol: "https"
  #username: "elastic"
  #password: "changeme"
 pipeline: "XXXXX"

■問題点
filebeatからElasticsearchにファイルを転送したところ、パイプラインによって指定しているインデックスではなく、デフォルトの「filebeat-7.8.0-2020.06.23-000001」インデックスにデータが登録されてしまい、filebeatからパイプラインをコールできていないように見えています。

その際、ElasticCloudのコンソールログに以下のメッセージが出力されます
moving index [filebeat-7.8.0-2020.06.23-000001] from [{"phase":"hot","action":"unfollow","name":"wait-for-yellow-step"}] to [{"phase":"hot","action":"rollover","name":"check-rollover-ready"}] in policy [filebeat]

ちなみに、バージョン7.7のfilebeatからバージョン7.8のElasticsearchにデータを転送したところ、期待通りパイプラインで指定したインデックスにデータが登録されております。使用しているfilebeat.yml及び呼び出すパイプラインは同じです。

@t-nakata さん、私もバージョン7.8のElasticsearchとfilebeatで試してみました。Filebeatでpipelineを指定して、そのpipeline内でインデックス名を書き換えるようにしたのですが、問題なく動作しました。

Filebeatからパイプラインをコールできているか確認するには、以下のAPIでPipelineが何回呼ばれたかを確認できます。お試しください。

GET _nodes/stats/ingest

返信ありがとうございます。試してみます

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.