文字コードの変換について

beatsのファイルを読む設定でencodingをshift-jisにしてみてはどうですか?

SJISで改行コードLFのファイルを用意して、やってみたら文字化けせずに入りました。
で、beatsのencoding指定をはずすと文字化けすることも確認しました。
以下、試した設定などを書いておきます。

beatsの設定

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - Z:\TEMP\*.log
    #- c:\programdata\elasticsearch\logs\*

  # ↓ 読み込むファイルの文字コードを指定 ↓
  encoding: shift-jis

logstashの設定(beatsでshift-jisを設定しただけで、logstashはそのまま)

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => "xxx.xxx.xxx.xxx:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" 
    document_type => "doc" 
  }
}

テストファイル(改行コードはLF)

あいうえおかきくけこ東京特許許可局
となりの客はよく柿食う客だ
生麦生米なまたまご

インデックスされた例

1 Like