【filebeat】SQSのキュー削除に関して

[harue]

お世話になります。

filebeatのS3 inputに関して質問させて頂きます。

①filebeat⇔S3(SQS)の処理にて失敗した場合、
SQSのキューにあるメッセージは残されたままでしょうか？
filebeatからキューのメッセージを削除（DeleteMessageを実施）するのでしょうか？

② ①の回答がデータを削除するの場合、
処理失敗時にキューを削除するかしないかのパラメータはありますでしょうか？

お手数ですが、有識者の方は回答をお願い致します。
以上です。

[bruce_shimizu (Yukiya Shimizu)]

@harue さん

処理的には、SQSを見て、S3を読んでイベントを生成して、その処理がOK、または、S3関係のイベントでなければ、SQSからメッセージを削除してますね。

elastic/beats/blob/master/x-pack/filebeat/input/s3/input.go

処理が上手くいかなかった場合は、メッセージは削除されないので、そのままキューに残ります。
基本的には、At least onceの考え方に基づいているので、メッセージが1回以上配信される可能性はあります。
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-s3.html#_parallel_processing

[harue]

回答頂きありがとうございます。

上記の内容理解しました。