Dead_letter_queueにおける複数pipelineの扱い方

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

logstashのdead_letter_queueについてご教示ください。

logstashのdead_letter_queue inputプラグインにて、以下のような設定をしております。

input {
  dead_letter_queue {
    commit_offsets => true
    path => "/var/lib/logstash/dead_letter_queue"
    pipeline_id => "test"
  }
}

この設定だとtest pipelineしかdead_letter_queueを使用できませんが、複数pipelineにてdead_letter_queueを使用したいです。
以下のように記載してみたのですがlogstash起動時にエラーになってしましました。

pipeline_id => [ "test","test2" ]

複数のパイプラインにてdead_letter_queueを使用したい場合に、シンプルにconfに定義する方法をご教示頂けないでしょうか？
dead_letter_queue用のconfを作成し、全てのパイプラインがそれを参照するような形式なのか、各パイプラインにdead_letter_queueの定義を入れるべきなのか、方向性が分からずにおります。うまい方法をご存じであればご教示頂きたいです。

2

考え方はいくつかありそうですが、Multi Pipeline を使用するのはいかがでしょうか？

input ----> output 1
      ----> output 2

単一の input から複数のパイプラインへ転送する際のsyntax はこのようになります。

output { pipeline { send_to => [es, http] } }

3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.