Logsatash同士の通信エラー


#1

3つ質問があります。
上記lumberjack同士の通信において、LSサーバ(srv1)のlogstashのログで発生が頻発しています。

1.下記ログが発生している場合、何台かhostからのログの受信ができていないのでしょうか?
2.このログの発生を無くす(限りなく減らす)ための有効な設定や試せることはあるでしょうか?
3.そもそもbeatを動かしすぎでlumberjackでのログ送受信運用が厳しいとかありますでしょうか?

構築環境

host[beat(out:lumberjack)-->logstash(out:lumberjack)]-->インターネット-->srv1[logstash(in:lumberjack)]*1台-->srv2[elasticsearch]*3台
※beatはauditbeat,filebeat,packetbeat,winlogbeat
※全てVer6.4.0で統一
※hostは10台。今後増える可能性有。

マシン情報

host:Windows7,10
srv1:centos7(仮想srv)
srv2:centos7(仮想srv)

logstash.confの設定

【srv1】
input.lumberjackで受信できるよう必要な設定のみ
output.elasticsearchのhostsにはelasticsearch3台のIPを設定
※filterなどは設定していません。

srv1で出力されるログ

[pool-5-thread-41] lumberjack - Lumberjack input: The circuit breaker has detected a slowdown or stall in the pipeline, the input is closing the current connection and rejecting new connection until the pipeline recover. {:exception=>LogStash::CircuitBreaker::OpenBreaker}
[[main]<lumberjack] lumberjack - Lumberjack input: the pipeline is blocked, temporary refusing new connection.
[Ruby-0-Thread-18@[main]>worker0: :1] elasticsearch - Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out {:url=>http://xxx.xxx.xxx.xxx:9200/, :error_message=>"Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"}
[Ruby-0-Thread-18@[main]>worker0: :1] elasticsearch - Attempted to send a bulk request to elasticsearch' but Elasticsearch appears to be unreachable or down! {:error_message=>"Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out", :class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError", :will_retry_in_seconds=>2}
[Ruby-0-Thread-10: :1] elasticsearch - Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://xxx.xxx.xxx.xxx:9200/, :path=>"/"}
[Ruby-0-Thread-10: :1] elasticsearch - Restored connection to ES instance {:url=>"http://xxx.xxx.xxx.xxx:9200/"}

私が試したことは
【srv1】
・cpuコアを8つ(ワーカーが8つで動作する)
・メモリ8gb(javaヒープmin,maxを4gb)
【srv2】※3台とも同じ設定
・メモリ8gb(javaヒープmin,maxを4gb)


(Jun Ohtani) #2

ログを見たところ、Es側に接続がタイムアウトしたりしているようですが、
Es側のログには何も出ていないでしょうか?
例えば、CPUが高かったり、GCが走っていたりと、Esのクラスター側の性能などは測定していないでしょうか?


(system) #3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.