データを取り込む際に不要な情報をインデックスから削除する方法

[5f750bbb360aba6ced5f (Gotenyama)]

Logstashデータを取り込むと時に、Host・tags・pathなどがIndexに含まれていますが、こちらは見せたくない情報を含むため、これらを取り込み時点で除去するLogstash上の設定等はありませんでしょうか。

【環境等】
・Kibana、Elasticsearch、Logstashのバージョン：6.6.2

[tsgkdt]

そもそもフィールドとしてデータを送信しないということであれば、mutate -> remove_fieldやremove_tagが使えるかと思います。

https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-remove_field

↓ hostやpathを送信しない例

filter {
    mutate {
         remove_field => ["host", "path"]
    }
}

一方、hostやpathは有用な値を含んだフィールドでもあるので、利用者には見せたくないけれどもElasticsearch管理者は見られるようにしておきたい、といった要望もあるかもしれません。

そうした場合は、フィールドレベルのセキュリティをかけることも考えられるかもしれません。
https://www.elastic.co/guide/en/elasticsearch/reference/current/field-level-security.html

なお、こちらが使えるサブスクリプションはプラチナ以上となっているようです。
https://www.elastic.co/jp/subscriptions

ご参考になれば。

[5f750bbb360aba6ced5f (Gotenyama)]

ありがとうございます！remove_fieldでうまくできました！