logstash→Elasticsearchというルートで、IPアドレスフィールドを保持するドキュメントを登録しています。登録時にIPアドレスをチェックし、指定の範囲内であればフラグを付与したいのですが可能でしょうか？LogstashもしくはIngestノードにて可能ではないかと思うのですが、情報が見当たらず投稿させて頂きました。ご教示いただけますでしょうか。
IngestするDocからIPアドレスフィールドを取り出して、条件比較して、別のフィールドにフラグを付与する、というのは、LogstashでもIngest Pipelineでも可能です。
問題は、条件比較の条件が動的なものか静的なものか、ということになります。
Logstashであれば、条件となるような範囲をIn memoryに保持して、それと比較して処理をするというのは、意外と簡単にできます。フラグ付は、add_field or add_tag でやればいいと思います。
もちろん、静的な条件であれば、ruby filterを使って、条件をparamで渡して、条件をScriptで書くことが可能です。
Ingest Pipelineでも、PainlessでScriptは書けるのですが、条件を外部から動的に読み込むのは無理なので、静的な条件をパラメータで渡して、Scriptで制御する形になりますね。
条件はパラメータで渡さなくても、ずっと変更がないなら、Script内で定数として定義してもOKですが。。。
ご回答ありがとうございます。参考にさせて頂きます。
条件は別インデックスに保持し、そちらを参照する方式としたいのですが、そのケースは「条件を外部から動的に読み込むのは無理」に該当しますでしょうか？
また、enrichプロセッサーを使用することでも実現可能かと思ったのですが、いかがでしょうか？
Enrich processorは、基本的に条件が一意に決まらないと使えないです。
例えば、こちらの例のように、IndexAのあるDocの"email"というフィールドが、IndexBのあるDocの"email"というフィールドに一致する時に、IndexBのそのDocの"first_name" "last_name"をIndexAのDocに追加する(Enrichする)と言った具合にです。
IPアドレスのレンジだと、こうしたIndexBに相当するものを作るのは難しいのではないかと思いました。
なので、残念ながら、IPアドレスレンジ的なものを別のIndexで保持して、それを参照して条件判定は、Ingest Pipelineではできないですね。
似たようなことは、Logstashではできますが、これだと1つのDocument毎にElasticsearchに毎回Query投げるので、効率的には良いとは言えません。なので、最初のLogstashのjdbc_staticでメモリ上に条件テーブルを展開して、それを使う方がいいかな、と思います。
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.