Logstashのs3-sns-sqs input pluguinを使用した場合のlogstashで保持するキュー情報

logstashのinput pluguinとして、S3-SNS-SQS pluginを使用しているのですが、その場合logstashのキュー情報として保持する内容としては何になりますでしょうか。(S3内にあるファイル内容をメモリに持つイメージなのか、SQSから取得したキュー情報をメモリにもつイメージなのか)

LogstashのInternal Qeueの話だと思うのですが、以下のDocが参考になるかと思います。

基本的にLogstashの内部的には、

Input -> Internal Queue -> Pipeline Worker (Filter/Output)

という流れになるので、Internal Queueには、Input(Plugin)で取得したメッセージ(イベント)が溜まっていきます。溜まったQueueはPipeline Workerによってデキューされて、次の処理が行われます。

ちなみに、S3 SNS/SQS Pluginは、以下の仕組みを使ってS3からログイベントを取得するものです。

https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/NotificationHowTo.html

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.