3つ質問があります。
上記lumberjack同士の通信において、LSサーバ(srv1)のlogstashのログで発生が頻発しています。
1.下記ログが発生している場合、何台かhostからのログの受信ができていないのでしょうか？
2.このログの発生を無くす（限りなく減らす）ための有効な設定や試せることはあるでしょうか？
3.そもそもbeatを動かしすぎでlumberjackでのログ送受信運用が厳しいとかありますでしょうか？
構築環境
host[beat(out:lumberjack)-->logstash(out:lumberjack)]-->インターネット-->srv1[logstash(in:lumberjack)]*1台-->srv2[elasticsearch]*3台
※beatはauditbeat,filebeat,packetbeat,winlogbeat
※全てVer6.4.0で統一
※hostは10台。今後増える可能性有。
マシン情報
host:Windows7,10
srv1:centos7(仮想srv)
srv2:centos7(仮想srv)
logstash.confの設定
【srv1】
input.lumberjackで受信できるよう必要な設定のみ
output.elasticsearchのhostsにはelasticsearch3台のIPを設定
※filterなどは設定していません。
srv1で出力されるログ
[pool-5-thread-41] lumberjack - Lumberjack input: The circuit breaker has detected a slowdown or stall in the pipeline, the input is closing the current connection and rejecting new connection until the pipeline recover. {:exception=>LogStash::CircuitBreaker::OpenBreaker}
[[main]<lumberjack] lumberjack - Lumberjack input: the pipeline is blocked, temporary refusing new connection.
[Ruby-0-Thread-18@[main]>worker0: :1] elasticsearch - Marking url as dead. Last error: [LogStash::Outputs::Elasticsearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out {:url=>http://xxx.xxx.xxx.xxx:9200/, :error_message=>"Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::Elasticsearch::HttpClient::Pool::HostUnreachableError"}
[Ruby-0-Thread-18@[main]>worker0: :1] elasticsearch - Attempted to send a bulk request to elasticsearch' but Elasticsearch appears to be unreachable or down! {:error_message=>"Elasticsearch Unreachable: [http://xxx.xxx.xxx.xxx:9200/][Manticore::SocketTimeout] Read timed out", :class=>"LogStash::Outputs::Elasticsearch::HttpClient::Pool::HostUnreachableError", :will_retry_in_seconds=>2}
[Ruby-0-Thread-10: :1] elasticsearch - Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://xxx.xxx.xxx.xxx:9200/, :path=>"/"}
[Ruby-0-Thread-10: :1] elasticsearch - Restored connection to ES instance {:url=>"http://xxx.xxx.xxx.xxx:9200/"}
私が試したことは
【srv1】
・cpuコアを8つ（ワーカーが8つで動作する）
・メモリ8gb(javaヒープmin,maxを4gb)
【srv2】※3台とも同じ設定
・メモリ8gb(javaヒープmin,maxを4gb)