50万程度のログを1日に1回、Elastic Stackが動いているサーバに取り込み、Logstashのfile input pluginでElasticsearchに入れています。
ある日から突然、取り込まれたデータの前半部分が欠損するようになりました。
頻度や欠損の多さはまちまちですが、必ず前半部分のみが欠損します。
同様の事象にあった方や、対処策に心当たりがあれば、ご教授いただけないでしょうか。
構築してから1年9か月程度たっており、その間ずっとログを取り込んでいましたが、2か月ほど前からこのような状況になりました。
OSはCentOS7で、ELKのバージョンはすべて6.1.1です。
ログ分析用サーバとして運用中で自由に設定変更がしづらい環境のため、設定変更を数試すこともできず、またネットで調べるといろいろな可能性が出てきますが、決定打になりそうなものがなく困っている状況です。
#よくread modeにすべきとの記載を見ますが、バージョンが古くモードが存在しませんでした。
また、メモリを倍に増やし、Elasticsearchの設定変更（8G→16G）もしましたが、効果はありませんでした。