現在MySQLを利用しており、Elasticsearchの導入を検討しているものです。
実現したいこと
まずは画面UI上で実現したいことを説明します。
一覧画面で一覧検索と合わせて、サイドバーに件数を表示したいです。
例えばサイドバーには国と承認済み・未承認タグ、およびそれぞれの件数が表示されているとします。
□承認済み １４件
日本をチェックすると以下の通り、
□承認済み ７件 ←件数が変わる（日本１０件のうち承認済みが７件と言う意味）
準備したもの
取得元のテーブル（MySQL）は以下の通りです。
id
国
承認フラグ
その他一覧情報
１
日本
承認済み
〜
２
米国
未承認
〜
###現状の実現方法
-- 一覧を表示するためのSQL
select
その他一覧情報
from
一覧テーブル
where
国 in (チェックされた国) and
承認フラグ in (チェックされた承認フラグ) and
(その他一覧情報の絞り込み)
-- 国の件数を表示するためのSQL
select
国，count(*)
from
一覧テーブル
where
承認フラグ in (チェックされた承認フラグ) and
(その他一覧情報の絞り込み)
group by
国
-- 承認フラグの件数を表示するためのSQL
select
承認フラグ，count(*)
from
一覧テーブル
where
国 in (チェックされた国) and
(その他一覧情報の絞り込み)
group by
承認フラグ
現状の実現方法の課題
実際には上記以上にサイドバーのタグが複雑であること、データ量が多いことが原因で、
質問
上記実現したいことを性能問題を回避して実現するために、Elasticsearchを利用して解決することは可能でしょうか。
環境
MySQL5.7
PHP7.2
よろしくお願いします。
st1t
December 7, 2018, 12:08pm
2
あまり確実なことが言えないので的はずれなことを言っていたら申し訳ないのですが、
Elasticsearchにはトランザクションがないことは問題にならないでしょうか
ElasticsearchはあくまでもIndex的な使い方になるので、
今回記載してもらっているような、
パフォーマンス面で改善できそうか
パフォーマンスについては少なくともボトルネックがどこにあるのかを明確にしないと答えるのは難しいかなと思います。
例えば上記３本のSQLを１つのDSLにして問い合わせることは可能でしょうか。
AND条件検索するという認識であれば少し古いですがElastic公式サイトの集約の実行 が役立つかなと思います。公式ドキュメントの最新版 を見てもらえればと。
ご参考まで
1 Like
ご回答ありがとうございます。
Elasticsearchにはトランザクションがないことは問題にならないでしょうか
マスタデータはMySQLで管理し、MySQLで更新されたデータはLogstashでElasticsearchに連携する想定です。
今回記載してもらっているような、いわゆる全文検索ではない検索の仕方であればAWS AuroraのようなフルマネージドなRDBMSやBigQuery等を検討されたほうが良いかもしれません
ありがとうございます。こちらのキーワードでも調査してみます。
AND条件検索するという認識であれば少し古いですがElastic公式サイトの集約の実行 が役立つかなと思います。
なるほど、Aggligationでまとめて実行できそうな気がしました！
曖昧な質問にも関わらず、丁寧にご回答いただきありがとうございました。
tsgkdt
December 7, 2018, 1:37pm
4
こんにちわ。
左側の件数を表示しているところの２つは、１つに集約できそうに見えました。
以下試してみた内容です。
項目
フィールド名
型
国名
country
keyword
承認済みフラグ
approved
boolean
その他項目
test
text
その他項目2
test2
text
その他項目3
test3
text
@st1t さんがいうように集約を使って、国の件数と承認済みフラグの件数を取得してみます。
POST forum-1206/_search
{
"query": {
"match_all": {}
},
"aggs": {
"country_aggregations": {
"terms": {
"field": "country",
"size": 10
},
"aggs": {
"approved_aggregations_per_country": {
"terms": {
"field": "approved",
"size": 2
}
}
}
},
"approved_aggregations": {
"terms": {
"field": "approved",
"size": 2
},
"aggs" : {
"country_aggregations_per_approved": {
"terms": {
"field": "country",
"size": 10
}
}
}
}
},
"size": 0
}
とすれば、こんな感じになります。
"aggregations" : {
"country_aggregations" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
{
"key" : "日本",
"doc_count" : 4,
"approved_aggregations_per_country" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
{
"key" : 1,
"key_as_string" : "true",
"doc_count" : 3
},
{
"key" : 0,
"key_as_string" : "false",
"doc_count" : 1
}
]
}
},
一覧表示用のクエリも含めて1回で、というのはすぐには思いつかないところです。
2 Likes
サンプルコードまでありがとうございます！
自分で詳細の調査をする前ですが、まずは回答させていただきます。
一覧表示用のクエリも含めて1回で、というのはすぐには思いつかないところです。
いただいたサンプルコードのquery結果を呼び出し元のコードにて、
query結果をaggsで集計した後に、さらにqueryで絞り込むようなことが１回のリクエストでできるといいのですが・・
引き続き調査いたします。
johtani
December 7, 2018, 3:08pm
6
このへん読んでいただければいいんじゃないかと。https://www.elastic.co/guide/en/elasticsearch/guide/current/_scoping_aggregations.html
2 Likes
リクエストをまとめるだけなら、_msearch が使えそうですね。
The body includes the typical search body request (including the query , aggregations , from , size , and so on)
aggregationもできそうです。
ただ全文検索を複数回行う点ではリクエスト複数回と変わらないですね。
別件で先ほどいただいたサンプルコードのbucketについてですが、filterを利用して以下でもできるかもと思いました。（まだ環境がないので動作未確認。間違っていたらすみません。）
"aggs": {
"country_aggregations": {
"filter" : { "term": { "approved": true } }, ←承認済みにチェックされていた場合
"terms": {
"field": "country",
"size": 10
},
},
"approved_aggregations": {
"filters" : { "term": { "country": ['日本'] } }, ←国名にチェックされていた場合
"terms": {
"field": "approved",
"size": 2
},
}
},
ご回答いただきありがとうございます。
クエリ＋Aggsでやれば、検索結果に対する集計
こちらについては理解していましが、いただいたリンクのglobal指定というのは初見でしたので大変参考になりました。
今回の質問では、globalのように全てのqueryはリセットするのではなく、
もし見落としなどがあればご指摘いただけると幸いです。
マニュアルを見ていたらpost_filter を見つけました。
これがあれば、１つのDSLで実現できるような気がします。以下イメージです。
queryで「その他一覧情報の絞り込み」を行う
aggsで「国名」毎の件数を集計する（filterで承認済みフラグを絞り込み）
aggsで「承認済みフラグ」毎の件数を集計する（filterで国名を絞り込み）
集計後にpost_filterで一覧表示用に「国名」と「承認済みフラグ」絞り込み
色々と教えていただいたおかげです。ありがとうございます。
環境構築後に動作確認してまた報告いたします。
johtani
December 7, 2018, 7:51pm
10
あー、そもそもの質問の仕様を理解してませんでした。
そもそもの仕様で質問があるんですが、
日本と米国の両方をチェックするとどうなりますか？0件ですか？
日本と承認済みをチェックするとどうなりますか？日本の件数は変わるんですか？
チェックボックスをクリックするとすぐに検索ですか？それともその後検索ボタンをクリックとかですか？その後検索ボタンの場合は組み合わせによっては一覧表示は0件の可能性があると思うんですが、サイドの件数は0件にはならないような表示になるんでしょうか？
総件数の表示などはするのでしょうか？
ご質問ありがとうございます。
日本と米国の両方をチェックするとどうなりますか？0件ですか？
この点、説明が不足していてすみません。
ーーーーー
□承認済み １０件 ←件数が変わる（日本と米国の１４件のうち承認済みが１０件と言う意味）
※一覧には１４件表示
ちなみに、さらに中国をチェックすると、
□承認済み １４件 ←件数が変わる（日本と米国と中国の１８件のうち承認済みが１４件と言う意味）
※一覧には１８件表示
日本と承認済みをチェックするとどうなりますか？日本の件数は変わるんですか？
変わります。
□承認済み ７件 ←件数が変わる（日本１０件のうち承認済みが７件と言う意味）
ーーーーー
■承認済み ７件 ←その後にここをチェックすると
※一覧には７件表示
チェックボックスをクリックするとすぐに検索ですか？それともその後検索ボタンをクリックとかですか？その後検索ボタンの場合は組み合わせによっては一覧表示は0件の可能性があると思うんですが、サイドの件数は0件にはならないような表示になるんでしょうか？
すぐに検索です。
総件数の表示などはするのでしょうか？
検索ヒット件数を表示します。（初期表示は検索条件がないので総件数が表示されます）
サイドバーのカテゴリーは更に増えたりするんでしょうか？
増えます。便宜的に国名、承認フラグとしましたが、
上記ロジックを現状MySQLで実現しているのですが、
Elasticsearchは全文検索ができる事に加えて、
post_filterで期待する動作ができたことをご報告いたします。
2 Likes
system
January 9, 2019, 11:36am
13
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
