Logstashのproxy設定について

Elastic In Your Native Tongue 日本語による質問・議論はこちら
1

こんにちは。

proxy環境化でのlogstash(lumberjack)の設定を教えてください。

現在
(A)logstash(1.5.4)==Internet==(B)logstash(1.5.4)=(C)Elasticsearch(1.7.1)=(D)kibana(4)

(A)はwindows7～10 ※複数PC
(B～D)はWindowsServer2008R2 ※1台

という構成で、ログの収集を行っています。

(A)のoutput、(B)のinputにlumberjackを設定し、データの送受信を実現しています。

(A)のネットワーク上にproxyサーバが存在する場合、
どのような設定を行えばproxyを超えてデータを(B)に送信することができますか？
※lumberjackのオプションにはproxyの設定は見当たりません。

また、input,outputのpluginでlumberjackを使用していますが、
上記構成(proxyありなし踏まえた)に適したpluginがあれば教えてください。

よろしくお願いします。

2

(A)のDMZ 上に中継専用の logstash を input-lumberjack プラス output-lumberjack で立てるのはどうでしょうか?

lumberjack を使われているということは経路上を暗号化したいという意図だとおもいます。もし安全性を考慮しないのならいろんなプロトコルで中継するはできるとおもいます。

3

nxhackさん、ご回答ありがとうございます。

lumberjackを使用している理由はその通りです。

PCに入れたlogstash単体で解決を図っていたので
logstashを中継機で立てること思いつきませんでした。

(A)PC=(A')ProxySV==Internet==(B)SV=.....
という構成でinput,outputにlumberjackという理解でよろしいでしょうか？

logstashの理解及び勉強の為に、もう２点質問があります。

実現したい理想構成としましては
ブラウザやdropboxのようにプロキシサーバの設定をしたら(もしくは自動認識)プロキシを中継してくれる。
というような中継を用意せず、PCに設定したlogstashだけで完結できるとよいのですが。

公式サイトのDocを見てはみたのでないとは思うのですが、
そのような機能、オプションはない。
という認識でよいでしょうか。

上記「1.」のご回答で「機能がない」場合
Ruby、ネットワーク周りのプログラムに疎いのですが、
プログラムで解決できますか？

4

中継専用のPCをGWとして配置する感じです。

試してみたことはないのですが、(A)PCのLogstashでoutput-http(SSL付きで)をつかってデータ出力。httpなので proxy は随意に。(B)Logstashでinput-httpでデータ入力という構成はできるかもしれませんね。

いま lumberjack の実装は beats とよばれるプロダクト群で置き換わっています。そのあたりの動きみてみるのもいいかもしれません。

5

ご返答ありがとうございます。

試してみました。

プロキシサーバがある環境でlogstash(output-http)実行したら(B)側で受信確認できませんでした。
プロキシサーバがある環境でブラウザからhttp実行したら(B)側で受信確認できました。

プロキシサーバがない環境だとlogstash(output-http),ブラウザで実行したら(B)側で受信確認できました。

filebeatはまだ手を付けれないのでいずれ見てみようと思います。

ありがとうございました。