# Kuromojiユーザ辞書に定義済みの単語で構成された複合語の形態素解析について

**URL:** <https://discuss.elastic.co/t/kuromoji/285149>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [September 26, 2021, 12:38am UTC](https://discuss.elastic.co/t/kuromoji/285149 "2021-09-26T00:38:49Z")\
**Posts on this page:** 4\
**Page:** 1

<div class="post-metadata">

**Author:** ![hemi-n](https://avatars.discourse-cdn.com/v4/letter/h/a4c791/32.png) [@hemi-n](https://discuss.elastic.co/u/hemi-n)\
**Post date:** [September 26, 2021, 12:38am UTC](https://discuss.elastic.co/t/kuromoji/285149/1 "2021-09-26T00:38:50Z")

</div>

Elasticsearch Version: 5.6.14

Kuromojiを使って形態素解析を行っているのですが、ユーザー辞書に登録済みの単語で構成された複合語を定義した際に想定通りに文章の単語分割が行われませんでした。

### 実施したいこと

- 文章に`ホタテ`が含まれる場合は、ホタテを1つの単語として取り扱いたい
- 文章に`ホタテのり`が含まれる場合は、ホタテのりを1つの単語として取り扱いたい

### 設定例

```auto
curl -X PUT "localhost:9200/sample_index?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "index": {
      "analysis": {
        "tokenizer": {
          "kuromoji_user_dict": {
            "type": "kuromoji_tokenizer",
            "mode": "search",
            "user_dictionary": "sample.dict"
          }
        },
        "analyzer": {
          "my_kuromoji_analyzer": {
            "type": "custom",
            "tokenizer": "kuromoji_user_dict"
          }
        }
      }
    }
  }
}
'

```

#### sample.dict

```auto
ホタテ,ホタテ,ホタテ,名詞
のり,のり,ノリ,名詞
ホタテのり,ホタテのり,ホタテノリ,名詞
唐辛子のり,唐辛子のり,トウガラシノリ,名詞

```

### 複合語の構成要素が全てユーザ辞書に登録されている場合のAnalyze結果

```auto
curl -XGET 'localhost:9200/sample_index/_analyze?pretty&analyzer=my_kuromoji_analyzer' -d 'ホタテのり'

```

実行結果

```auto
{
  "tokens" : [
    {
      "token" : "ホタテ",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "のり",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "word",
      "position" : 1
    }
  ]
}

```

### 複合語の構成要素の一部がユーザ辞書に登録されている場合のAnalyze結果

```auto
curl -XGET 'localhost:9200/sample_index/_analyze?pretty&analyzer=my_kuromoji_analyzer' -d '唐辛子のり'

```

実行結果

```auto
{
  "tokens" : [
    {
      "token" : "唐辛子のり",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 0
    }
  ]
}

```

書き方の誤りや、他に良い方法がありましたら、ご教示いただきたいです。  
よろしくお願いいたします。

---

<div class="post-metadata">

**Author:** ![yukinarian](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/yukinarian/32/95072_2.png) [@yukinarian](https://discuss.elastic.co/u/yukinarian)\
**Post date:** [October 1, 2021, 4:03pm UTC](https://discuss.elastic.co/t/kuromoji/285149/2 "2021-10-01T16:03:05Z")

</div>

お試しいただいているとおり、ユーザ辞書に登録した文字列は、tokenとして取得することを期待する定義になります。

> ホタテ,ホタテ,ホタテ,名詞  
> のり,のり,ノリ,名詞

この2つの定義が存在するため、"ホタテ","のり" の単位で形態素解析結果が得られていると思われます。

具体的には、形態素解析機である kuromoji において、ユーザ辞書登録された文字列はtokenとして得やすくなるように、コスト計算処理の考慮(=辞書登録された文字列のコストを下げ、分割されやすくする)が行われます。  
このため、"ホタテのり"という1tokenよりも、"ホタテ","のり"という文字列部分のコストがより低くなり、tokenが2つ得られる結果になります。  
当然に、別の文字列 "AAA","BB" と "AAABB" であっても同様の挙動になりえます。

> 実施したいこと  
> 文章にホタテが含まれる場合は、ホタテを1つの単語として取り扱いたい  
> 文章にホタテのりが含まれる場合は、ホタテのりを1つの単語として取り扱いたい

単に形態素解析結果を上記のとおりにするのであれば、"ホタテ","のり" いずれか（もしくは両方）のユーザ辞書登録を除くのが早いです。  
また、記載いただいた文字列はサンプルであり実態と異なるかもしれませんが、kuromojiデフォルトで1tokenになる文字列（一般的な表現）をユーザ辞書登録すると、kuromojiデフォルトの単語コストが変わることでデメリットも出る可能性があります。

例）「のりのりなお笑い芸人」といったフレーズにおいて、助動詞（体言接続）の「な」となっていた部分が「なお」に変わってしまう。  
「のり」を登録しない場合→「のりのり｜な｜お笑い｜芸人」  
「のり」を登録した 場合→「のり｜のり｜なお｜笑い｜芸人」

"ホタテ","のり"の部分がそもそもユーザ辞書登録を必要とするような文字列の場合は、形態素解析結果を期待どおりのふるまいにするにはユーザ辞書登録だけでは難しいかと思います（kuromoji\_analyzerそのものが使っている辞書に手を入れるなどしないと..）。  
検索用途で検索対象のドキュメントにHitさせる目的であれば、以下Elasticのブログ記事のように形態素解析以外のインデックスも併用した検索を行うなど、やりようがあるように思います。

Elasticsearchで日本語の全文検索の機能を実装する

> **[How to implement Japanese full-text search in Elasticsearch](https://www.elastic.co/jp/blog/how-to-implement-japanese-full-text-search-in-elasticsearch)**
>
> Learn how to implement full-text search in Japanese using Elasticsearch. We'll explore using n-gram and morphological analysis to build a powerful inverted index that's \*not\* built on whitespace analysis.

以上ご参考まで。

---

<div class="post-metadata">

**Author:** ![hemi-n](https://avatars.discourse-cdn.com/v4/letter/h/a4c791/32.png) [@hemi-n](https://discuss.elastic.co/u/hemi-n)\
**Post date:** [October 4, 2021, 2:13pm UTC](https://discuss.elastic.co/t/kuromoji/285149/3 "2021-10-04T14:13:39Z")

</div>

ありがとうございます！  
非常にわかりやすく教えていただき、とても理解しました。  
ユーザ辞書の単語追加はkuromojiデフォルトの形態素解析結果を踏まえて実施するのはもちろんのこと、辞書だけで解決しようとせず、N-Gramを併用するなど他の手段も考慮に入れて実装しようと思います。

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [November 1, 2021, 2:14pm UTC](https://discuss.elastic.co/t/kuromoji/285149/4 "2021-11-01T14:14:32Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.