# 文字コードの変換について

**URL:** <https://discuss.elastic.co/t/topic/148320>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [September 12, 2018, 12:35pm UTC](https://discuss.elastic.co/t/topic/148320 "2018-09-12T12:35:02Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

**Author:** ![hogehuga](https://avatars.discourse-cdn.com/v4/letter/h/f17d59/32.png) [@hogehuga](https://discuss.elastic.co/u/hogehuga)\
**Post date:** [September 12, 2018, 12:35pm UTC](https://discuss.elastic.co/t/topic/148320/1 "2018-09-12T12:35:02Z")

</div>

Javaが吐いている「Shift\_JIS + \r改行」のファイルをElasticsearchに取り込むと文字化けしてしまいます。

環境としては以下のとおりです。

- Windowsサーバ上で
  - 対象のファイルが出力されている
  - Filebeatを導入して、Logstashサーバに送っている

- Logstashで
  - inputで `charset => "Shift_JIS"` 及び `charset => "CP932"` としても、文字化けして登録される

対象のファイルはnkf等で確認しすると Shift\_JIS(改行は\n) で、Windowsのメモ帳でみると「改行がないが文字化けはない」ものです。その為、Shift\_JIS(CR+LF) ではなく、Shift\_JIS(LF)で間違いないと思います。

以下のような logstashのinput設定をしているのですが、対処方法をおわかりになる方はいらっしゃいますでしょうか。  
; codec=\>plainなもので入力文字コードを指定すれば、出力時に自動でUTF8に変換される？

```auto
input {
  beats { 
    port => "5044"
    codec => plain {
      charset => "Shift_JIS"
    }
  }
}

```

1日調べましたが、事例も見つけられなかったので、こちらで相談させていただきました。

---

<div class="post-metadata">

**Author:** ![tsgkdt](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/tsgkdt/32/39151_2.png) [@tsgkdt](https://discuss.elastic.co/u/tsgkdt)\
**Post date:** [September 12, 2018, 2:49pm UTC](https://discuss.elastic.co/t/topic/148320/2 "2018-09-12T14:49:08Z")

</div>

beatsのファイルを読む設定でencodingをshift-jisにしてみてはどうですか？

SJISで改行コードLFのファイルを用意して、やってみたら文字化けせずに入りました。  
で、beatsのencoding指定をはずすと文字化けすることも確認しました。  
以下、試した設定などを書いておきます。

beatsの設定

```auto
- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - Z:\TEMP\*.log
    #- c:\programdata\elasticsearch\logs\*

  # ↓ 読み込むファイルの文字コードを指定 ↓
  encoding: shift-jis

```

logstashの設定(beatsでshift-jisを設定しただけで、logstashはそのまま）

```ruby
input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => "xxx.xxx.xxx.xxx:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" 
    document_type => "doc" 
  }
}

```

テストファイル（改行コードはLF)

```auto
あいうえおかきくけこ東京特許許可局
となりの客はよく柿食う客だ
生麦生米なまたまご

```

インデックスされた例

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/7/4/7400e3413dff86683f8c221bbcec310365516566.png)

---

<div class="post-metadata">

**Author:** ![mukai](https://avatars.discourse-cdn.com/v4/letter/m/f08c70/32.png) [@mukai](https://discuss.elastic.co/u/mukai)\
**Post date:** [September 13, 2018, 3:08am UTC](https://discuss.elastic.co/t/topic/148320/3 "2018-09-13T03:08:52Z")

</div>

「\r」は下記のmutate(汎用文字列加工)フィルター使えば消すことができます。

#### message項目の「\r」を「」に置換

> [Mutate filter plugin | Logstash Plugins](https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-gsub)  
> filter {  
> mutate {  
> gsub =\> [  
> "message", "\r", ""  
> ]  
> }  
> }

ただ、\rの有無は文字化けには影響しない(データに改行コードが残るだけ)ので、今回の文字化けには関係ないかもしれません。

---

<div class="post-metadata">

**Author:** ![hogehuga](https://avatars.discourse-cdn.com/v4/letter/h/f17d59/32.png) [@hogehuga](https://discuss.elastic.co/u/hogehuga)\
**Post date:** [September 14, 2018, 1:20am UTC](https://discuss.elastic.co/t/topic/148320/4 "2018-09-14T01:20:45Z")

</div>

ありがとうございます。  
改行がLFのみなので、\r(CR)は既に存在しません。  
また、\nを消してしまうと改行記号がなくなるので、全てが1行になってしまいます。  
改行記号だけであれば、文字化けはしませんね。

上記から、今回の用途には合いませんでした。  
しかしながら mutate/gsub で文字列置換ができることを初めて知りました。  
有用な情報をありがとうございます！

---

<div class="post-metadata">

**Author:** ![hogehuga](https://avatars.discourse-cdn.com/v4/letter/h/f17d59/32.png) [@hogehuga](https://discuss.elastic.co/u/hogehuga)\
**Post date:** [September 14, 2018, 1:21am UTC](https://discuss.elastic.co/t/topic/148320/5 "2018-09-14T01:21:40Z")

</div>

ありがとうございます。  
確認までして頂き、大変助かりました。ありがとうございます！

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [October 12, 2018, 1:21am UTC](https://discuss.elastic.co/t/topic/148320/6 "2018-10-12T01:21:41Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.