TD-Agent と Elasticsearch を使用した Windows ログ収集


#1

お世話になっております。
Windows クライアントからイベントログ(application,system,security)を収集し、TD-Agent サーバの Elasticsearch へ書き込み、Kibana で確認したいと考えています。

環境は以下の通りです。
Windows クライアント
OS:Windows Server 2012 SE
収集AP:Fluentd 1.0.2(コード変換にrecord_modifier を使用)

TD-Agentサーバ
OS:CentOS7.3.1611
TD-Agent 1.2.1
DB:Elasticsearch 5.3.1(+ kuromoji)

設定を行い、TD-Agentサーバへ Windows ログが送信されていることは確認できたのですが、システムログに日本語があると、その情報が Kibana で確認できませんでした。
Windows ログ用の index に対して、全文検索を行っても日本語を含んだシステムログは Hitしません。
(英語のみのシステムログは Hit します)
セキュリティログは日本語を含んでいても、全文検索で Hit し kibana でも表示されます。
また、TD-Agentサーバの設定を変更し、取得したデータを File に書き出した場合は、日本語を含んだシステムログも取得できています。

日本語を含むシステムログは書き込まれない原因として、考えられることはあるでしょうか?

=====================
本件ですが、自己解決しました。
文字のエスケープ処理漏れが原因でした。
このため、この質問はクローズさせていただきます。


(Jun Ohtani) #2

解決されたようで何よりです。

問題とは関係ないですが、こういうプロダクトもあるので試して見ていただければと。
https://www.elastic.co/products/beats/winlogbeat


#3

コメント頂き、ありがとうございます。
このようなプロダクトもあることは、知りませんでした。

環境ですが、TD-Agent でログ収集・分析を行い、分析結果によっては Zabbix へ通知することを想定しています。
TD-Agent もプラグインを追加すれば、Winlogbeat からの通知を受け取れるようなので、こちらも試してみたいと思います。

情報を頂き、ありがとうございました。


(system) #4

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.