Logstashで３階層のデータを生成したい

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

RDBMS上に３階層で構成されている表のデータを、
３階層のドキュメント構造でElasticsearchに反映させたいと考えています。

ほぼ以下のURLで語られているとおりなのですが、
このトピックのやりとりで解決したのかまでが不明で、
参考にして設定しても期待した形を実現できなかったため
質問させて下さい。

【RDBMS（MySQL）上の構造、データ】
表A->表B->表Cの３階層
表A->表Bは、1:N
表B->表Cは、1:N
表Bには表AのIDを持つ列がある
表Cには表BのIDを持つ列がある

【Elasticsearch上で実現したいこと】
以下のようなドキュメント構造でデータを保持したい。

{
 "表AのID" : "表AのIDの値",
 "表AのID以外の列" : "表AのID以外の列の値",
 "表B情報" : [
  {
   "表BのID" : "表BのIDの値",
   "表BのID以外の列" : "表BのID以外の列の値",
   "表Cの情報" : [
    {
     "表CのID" : "表CのIDの値",
     "表CのID以外の列" : "表CのID以外の列の値",
    }
   ]
  }
 ]
}

【Logstashの設定】

input jdbcプラグイン
表Aを更新日時のタイムスタンプで差分クロール

filter
（１）jdbc_streamingで表Bをクロール。
表B.表AのID情報列 = 表Aから取得したID値 を検索条件

（２）jdbc_streamingで表Cをクロール。
表C.表BのID情報列 = 表B（（１）のjdbc_streaming）から取得したID値 を検索条件
・・・にしたいが、できなかったので、
表Aと表Bと表CをJOINした上で、表B.表AのID情報列 = 表A（input - JDBC）から取得したID値を検索条件に指定

output
elasticsearch
特別な設定無し。

先のURLを参考に
filter（１）にtarget=>"表B情報"
filter（２）にtarget=>"[表B情報][表C情報]"
のように書くと、表Cの情報は一切反映されませんでした。（表Bの情報までが反映される）

filter（１）にtarget=>"[表B情報][表B情報]"
filter（２）にtarget=>"[表B情報][表C情報]"
のように書くと、表Cの情報は反映されるものの、表Bの情報の構造が期待したものにならず、
以下のようになります。

{
 "表AのID" : "表AのIDの値",
 "表AのID以外の列" : "表AのID以外の列の値",
 "表B情報" : [
  {
   "表Bの情報" : [
    {
     "表BのID" : "表BのIDの値",
     "表BのID以外の列" : "表BのID以外の列の値",
    }
   ],
   "表Cの情報" : [
    {
     "表CのID" : "表CのIDの値",
     "表CのID以外の列" : "表CのID以外の列の値",
    }
   ]
  }
 ]
}

（Q1）前述のようなドキュメント構造で３階層のデータを反映する方法がありましたら教えて下さい。

（Q2）jdbc_streaming内のSQLで取得した情報を別のjdbc_streamingのパラメータとして使用することは、仕様上できないのでしょうか？

【環境】
Elasticsearch：7.9.1
Logstash：7.12.0 - OSS Only

2

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.