【filebeat】SQSのキュー削除に関して

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

お世話になります。

filebeatのS3 inputに関して質問させて頂きます。

①filebeat⇔S3(SQS)の処理にて失敗した場合、
SQSのキューにあるメッセージは残されたままでしょうか？
filebeatからキューのメッセージを削除（DeleteMessageを実施）するのでしょうか？

② ①の回答がデータを削除するの場合、
処理失敗時にキューを削除するかしないかのパラメータはありますでしょうか？

お手数ですが、有識者の方は回答をお願い致します。
以上です。

2

@harue さん

処理的には、SQSを見て、S3を読んでイベントを生成して、その処理がOK、または、S3関係のイベントでなければ、SQSからメッセージを削除してますね。

処理が上手くいかなかった場合は、メッセージは削除されないので、そのままキューに残ります。
基本的には、At least onceの考え方に基づいているので、メッセージが1回以上配信される可能性はあります。
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-s3.html#_parallel_processing

3

回答頂きありがとうございます。

上記の内容理解しました。

4

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.