logstashのFile output pluginにおけるファイルロックについて

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

お世話になります。

logstashのFile output pluginにおいて、ファイル出力中のファイルロックの仕様はどのようになっているのでしょうか？
（調べてみたものの、情報を見つけることができませんでした）

具体的にやろうとしていることは、Logstashで出力したファイルをシェルなどで定期的にgzipコマンドで圧縮して後続処理へ渡すようなことを考えております。
この際に、inputが不定期で行われるため、ファイル出力と圧縮処理が競合した場合の動作を懸念しております。

お分かりの方がいらっしゃいましたら、ご教示いただけますと幸いです。

動作環境

  • Logstash 6.2.3
  • OS : Ubuntu 16.04.4 LTS
2

特にロックはしていないはずです。
そのため、定期的にmvでファイル名を変更してからgzipすれば、問題ないと思います。

3

@miki さん
ご回答ありがとうございます。
定期的にmvをすれば、とのことですがlogstashのファイル出力処理とmvのタイミングがバッティングした場合に、出力ファイルが不完全な状態でmvしてしまうことは考えられますか？

4

基本的にはatomicな挙動になると思うので、問題ないと思います。
心配なら path => "./output-%{+YYYY-MM-dd}.txt" のように指定して、ファイルの出力先が日時によって定期的に変わるようにすれば良いと思います。

5

@miki さん
atomicな挙動となるのであれば、問題なさそうです。
ご回答ありがとうございした。

6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.