logstashのinput pluguinとして、S3-SNS-SQS pluginを使用しているのですが、その場合logstashのキュー情報として保持する内容としては何になりますでしょうか。(S3内にあるファイル内容をメモリに持つイメージなのか、SQSから取得したキュー情報をメモリにもつイメージなのか)
LogstashのInternal Qeueの話だと思うのですが、以下のDocが参考になるかと思います。
基本的にLogstashの内部的には、
Input -> Internal Queue -> Pipeline Worker (Filter/Output)
という流れになるので、Internal Queueには、Input(Plugin)で取得したメッセージ（イベント）が溜まっていきます。溜まったQueueはPipeline Workerによってデキューされて、次の処理が行われます。
ちなみに、S3 SNS/SQS Pluginは、以下の仕組みを使ってS3からログイベントを取得するものです。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/NotificationHowTo.html
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.