お世話になっております。
kibanaのDiscoverを表示したときにtimeoutが発生し表示できなくなりました。
サーバ構築当時はこのようなことがなかったのですが、
データが増えるにつれ頻発し、ここ最近では必ずtimeoutが発生しclusterのstatusがredになります。
チューニングしたら改善されるのか、そもそもハードスペックが足りないのか判断が難しいところではありますが、
まずは可能な限りチューニングを行い様子を見たいと考えています。
そこで有効と思われるチューニングの助言をいただければと思います。
よろしくお願いいたします。
● 現在の構成
■ハード(サーバにESXi導入)
CPU:Xeon E5540 2.53Ghz
mem:128GB ※別サーバが常時4台起動しメモリは約30GBほど占有
HDD:NAS 6TB
■node(ESXi上)
OS:CentOs7(64)
1nodeあたりメモリ:8GB
HDD:500GB (約5%使用済)
■elasticsearch
version:2.4.3
cluster:1
node:5(日中はlogstashからデータ受信。kibanaインストール済み。)
node:1(elasticsearch.ymlにnode.master:false、node.data:falseを設定。kibanaインストール済み)
shard:5
replica:2
■kibana
version:4.6.4
●現在の設定
/etc/sysconfig/elasticsearch
・es_heap_size=4g
・max_locked_memory=unlimited
●その他
・packetbeatで取得したhttpデータ
・kibanaのdiscoverでdefaultの15分以内のデータを検索
・packetbeat-*で日付ごとにIndex作成
・packetbeat-*のデータは2/2時点で丸2か月分
・packetbeat以外にも別indexでデータあり。
・total shardは2/2時点で1805
・1indexあたりsizeは50~300MB
・1indexあたりdocは50,000~300,000件
・検索自体は6台全てにkibanaがインストールされているが、どれを表示してもエラーとなる
・日中はlogstashから