# Kuromojiの区切り文字について

**URL:** <https://discuss.elastic.co/t/kuromoji/280179>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [August 2, 2021, 3:50am UTC](https://discuss.elastic.co/t/kuromoji/280179 "2021-08-02T03:50:47Z")\
**Posts on this page:** 8\
**Page:** 1

<div class="post-metadata">

**Author:** ![ufuruya](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ufuruya/32/91801_2.png) [@ufuruya](https://discuss.elastic.co/u/ufuruya)\
**Post date:** [August 2, 2021, 3:50am UTC](https://discuss.elastic.co/t/kuromoji/280179/1 "2021-08-02T03:50:47Z")

</div>

kuromoji\_tokenizer を利用して、形態素解析を行っています。

「山田 花子」で検索すると、「山田」・「花子」で検索してくれます。  
「山田、花子」、「山田・花子」、「山田-花子」も同様です。

区切り文字は、スペースのみとし、他の記号はそのまま文字として扱いたいですが、可能でしょうか？  
「山田 花子」-\>「山田」・「花子」で検索  
「山田、花子」-\>「山田、花子」で検索  
「山田・花子」-\>「山田・花子」で検索

---

<div class="post-metadata">

**Author:** ![miki](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/miki/32/53228_2.png) [@miki](https://discuss.elastic.co/u/miki)\
**Post date:** [August 4, 2021, 1:43pm UTC](https://discuss.elastic.co/t/kuromoji/280179/2 "2021-08-04T13:43:38Z")

</div>

Whitespace tokenizerを使うのはどうですか？

---

<div class="post-metadata">

**Author:** ![ufuruya](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ufuruya/32/91801_2.png) [@ufuruya](https://discuss.elastic.co/u/ufuruya)\
**Post date:** [August 5, 2021, 5:41am UTC](https://discuss.elastic.co/t/kuromoji/280179/3 "2021-08-05T05:41:08Z")

</div>

@miki  
コメントありがとうございます。  
Whitespace tokenizer を使うと、Kuromoji tokenizer が使えないと思っています。  
（tokenizerは１つしか指定できない。）

---

<div class="post-metadata">

**Author:** ![miki](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/miki/32/53228_2.png) [@miki](https://discuss.elastic.co/u/miki)\
**Post date:** [August 5, 2021, 7:09am UTC](https://discuss.elastic.co/t/kuromoji/280179/4 "2021-08-05T07:09:42Z")

</div>

Kuromoji tokenizerが単語を分割するルールに対して、記号に関しては分割をしないようにしたいということですか？  
もう少し、具体的な例を教えてください。

---

<div class="post-metadata">

**Author:** ![ufuruya](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ufuruya/32/91801_2.png) [@ufuruya](https://discuss.elastic.co/u/ufuruya)\
**Post date:** [August 5, 2021, 8:47pm UTC](https://discuss.elastic.co/t/kuromoji/280179/5 "2021-08-05T20:47:11Z")

</div>

@miki

> Kuromoji tokenizerが単語を分割するルールに対して、記号に関しては分割をしないようにしたいということですか？

おっしゃる通りです。  
分割をスペースのみにしたいです。

「新宿 居酒屋」は、「新宿」と「居酒屋」で検索。  
「新宿、居酒屋」は、そのまま「新宿、居酒屋」で検索。  
としたいです。

---

<div class="post-metadata">

**Author:** ![miki](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/miki/32/53228_2.png) [@miki](https://discuss.elastic.co/u/miki)\
**Post date:** [August 6, 2021, 2:01am UTC](https://discuss.elastic.co/t/kuromoji/280179/6 "2021-08-06T02:01:40Z")

</div>

Pattern replace character filterなどを利用して、分割させたくない記号を前もって削除するのはどうでしょうか？  
少なくとも、記号が原因で分割されるという要因は排除できます。

---

<div class="post-metadata">

**Author:** ![ufuruya](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ufuruya/32/91801_2.png) [@ufuruya](https://discuss.elastic.co/u/ufuruya)\
**Post date:** [August 6, 2021, 4:31am UTC](https://discuss.elastic.co/t/kuromoji/280179/7 "2021-08-06T04:31:59Z")

</div>

@miki  
ありがとうございます。  
filterで削るのが良さそうです。参考にさせていただきます。

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [September 3, 2021, 4:32am UTC](https://discuss.elastic.co/t/kuromoji/280179/8 "2021-09-03T04:32:20Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
