Kibanaによるdiscoverの最大ヒット件数について


#1

お世話になっております。検索等は行ったのですが、該当すると思われる質問が見つけられなかったため、お伺いしております。erasticsearchでデータを読み込ませ、kibanaで、discoverでデータを呼び出そうとしております。
最大100万件程あるデータなのですが、discoverでは、最大件数が99999hits となり、それ以上表示されないように見受けられます。この最大件数をデータ上限まで引き上げる方法というのはあるのでしょうか。
もしも既存質問との重複等ありましたら大変申し訳ありません。どうぞよろしくお願いいたします。


(tsgkdt) #2

手元にある環境に110万件のデータを入れ、discoverで見たところ110万hitsと出ているため、2点確認させてください。
discoverの画面で、「最大件数が99,999件となり」 とのことですが、これは画面左上にある hitsの部分をおっしゃっていますか?
それとも違う部分をおっしゃっていますか?

あと、お使いのElasticsearchやKibanaのバージョンはおいくつでしょうか?
より具体的な情報をいただければ、他の人もレスをつけやすいと思いますー


#3

tsgkdt様、早速のお返事ありがとうございます。
まず、hitsの部分ですが、ご指摘の通り、そちらの部分になります。
そちらの表示が99,999hits、となってしまっております。

また、elasticsearchやkibanaのバージョンですが、
curlコマンドで確認してみましたところ、
elasticsearch:6.4.2
lucene_version:7.4.0

となっており、
kibanaは、マネジメント画面の表示では
Version: 6.4.2
と表示されております。

このような情報でよろしかったでしょうか。
どうぞよろしくお願いいたします。


(tsgkdt) #4

私の手元で試した環境と同じバージョンをお使いのようなので、こんな確認をしてみてはいかがでしょうか?
もし、既になさっている内容がありましたらご容赦ください。

1. 本当に100万件程度入っているかどうかを確認してみる

Kibanaのdev toolsで _cat/indicesで確認してみる。

2. 対象となるインデックス件数が期待通りだったときは、Kibanaの設定を確認してみる

複数のIndexにデータを投入しており、合算すると100万件程度となるとき、
KibanaのIndex Managementで特定のIndexしか指定していないか、を確認してみる。

例えば、test-2017, test-2018と年毎にindexを分けているのに、KibanaのIndex Managementでは、
test-2018の方しか指定していないとか。

3. 時系列データとき、日付の範囲指定が正しいかどうかを確認してみる

データ件数も、見るべきIndexも正しく指定されているのに、検索条件で絞られていて結果の件数が少ない、ということがないかを見てみる。

思いつく限りで書いてみましたが、参考になれば幸いです。


#5

tsgkdt様、早速の再度のお返事誠に有難う御座います。

ご指摘に従い確認してみましたところ、_cat/indicesにてそもそもデータ上限がhit数であることを確認致しました。複数indexに分けても取り込んでいたりはしておりましたが、とかく上限が、登録されているデータの上限数(99999件)と同一であったことから、そもそも取り込み作業において問題があったことが理解できました。
取り込み方法等、改めて対応方法を検討して参りたいと思います。
この度は、貴重なお返事誠に有難う御座いました。


(system) #6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.