kibanaでエラー「Monitoring: Error 429」が出る件

[yn2018]

kibanaのmonitoringを触っていると以下のようにエラーが出ます。

エラーメッセージは以下のような感じです。

Monitoring: Error 429 : [es_rejected_execution_exception] rejected execution of org.elasticsearch.transport.TransportService$7@c2f8810 on EsThreadPoolExecutor[search, queue capacity = 1000, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@3b56da80[Running, pool size = 13, active threads = 13, queued tasks = 1024, completed tasks = 3058713]]

ざっと調べましたが、明確な解決方法が見つからないので、こちらで質問させていただきました。

どなたか知恵をお貸しいただければ幸いです。

[tsgkdt]

es_rejected_execution_exceptionは、大量のリクエストがElasticsearchクラスタに届いて処理しきれなくなっているときに、よく見かけます。
（Elasticsearch側でもエラーログが出ていませんか？）

まずElasticsearchクラスタを立てている環境が十分なハードウェアを積んで、Heapのサイズなど正しく指定できているかを確認したいところです。

次に構成や設置に問題がないなら、ノード追加が検討されるのではないかと思います。

[yn2018]

ありがとうございます。

確かにelasticsearch側で以下のようなエラー（エラーの一部を抜粋）が出続けていますね。

org.elasticsearch.transport.RemoteTransportException: [jde7JlA][127.0.0.1:9300][indices:data/read/search[can_match]]
Caused by: org.elasticsearch.common.util.concurrent.EsRejectedExecutionException: rejected execution of org.elasticsearch.transport.TransportService$7@f1e8e73 on EsThreadPoolExecutor[search, queue capacity = 1000, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@3b56da80[Running, pool size = 13, active threads = 13, queued tasks = 5756, completed tasks = 7252449]]