# Logstashのgrok内のmatchのパターンについて

**URL:** <https://discuss.elastic.co/t/logstash-grok-match/68876>\
**Category:** 日本語による質問・議論はこちら\
**Created:** [December 13, 2016, 1:56pm UTC](https://discuss.elastic.co/t/logstash-grok-match/68876 "2016-12-13T13:56:05Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![arm\_band](https://avatars.discourse-cdn.com/v4/letter/a/e0b2c6/32.png) [@arm\_band](https://discuss.elastic.co/u/arm_band)\
**Post date:** [December 13, 2016, 1:56pm UTC](https://discuss.elastic.co/t/logstash-grok-match/68876/1 "2016-12-13T13:56:05Z")

</div>

初めて投稿します。

## 《環境》

- Elasticsearch, Logstash, Kibana, Beats(Filebeat)のバージョン：5.0.2
- ELKスタックをサーバA（CentOS6.2）、FilebeatをサーバB（CentOS6.7）にインストール

## 《状況》
サーバA上のWebのメールフォームからメールを送信し、その際にto,from,cc等の情報をテキストにログ（独自フォーマット）として吐き出します。 このログをFilebeatからサーバBのLogstashに投げて加工し、Elasticsearchに蓄積させている状態です。
## 《やりたいこと》
このメールフォームではccを0～3つまで設定して送信できるようになっているのですが、このccをそれぞれElasticsearchにフィールドに登録させたいと考えています（Kibanaでどの宛先が多いのか、などの情報を見たいため）。 この動作をさせるためには、Logstashのgrok、matchの条件をどのように記述すれば良いのでしょうか？（あるいは、他の方法があるか） 現状では下記のように条件を記述しています。
```
grok {
      match => { "message" => [
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<\>, SUBJECT:%{GREEDYDATA:subject}",
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}\>, SUBJECT:%{GREEDYDATA:subject}",
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}\>, CC2=\<%{NOTSPACE:cc2}\>, SUBJECT:%{GREEDYDATA:subject}"
      ] }
    }
```
しかし、このパターンですとccの中にcc2などの情報も一緒に入ってきてしまいます（例えば、 CC=\<hoge@example.com\>, CC2=\<fuga@example.com\> という行だと、 cc:hoge@example.com, cc2:fuga@example.com という形で入ってきてほしいのですが、cc:hoge@example.com\>, CC2=\<fuga@example.com\> という一続きの文字列で入ってしまう）。 [logstash/grok-patterns at v1.4.2 · elastic/logstash · GitHub](https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns)のパターンを参照すると、少なくともNOTSPACEはスペースで区切られそうな気がするのですが…。 メールアドレスを厳密に正規表現で扱おうとするのはかなり無理があるという話は聞いたことがあるので、厳密にはやろうとは考えていないのですが、このような状況ではどのようにパターンを記述すれば良いのか、ご教授頂けると助かります。

以上、よろしくお願いします。

---

<div class="post-metadata">

**Author:** ![nxhack](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/nxhack/32/3939_2.png) [@nxhack](https://discuss.elastic.co/u/nxhack)\
**Post date:** [December 14, 2016, 1:00am UTC](https://discuss.elastic.co/t/logstash-grok-match/68876/2 "2016-12-14T01:00:37Z")

</div>

`"%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}?\>(, CC2=\<%{NOTSPACE:cc2}?\>)?, SUBJECT:%{GREEDYDATA:subject}"`

こんな感じでどうでしょうか。  
CC2 のパース自体を (pattern)? で0回マッチで無視する。

---

<div class="post-metadata">

**Author:** ![tsgkdt](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/tsgkdt/32/39151_2.png) [@tsgkdt](https://discuss.elastic.co/u/tsgkdt)\
**Post date:** [December 14, 2016, 1:13am UTC](https://discuss.elastic.co/t/logstash-grok-match/68876/3 "2016-12-14T01:13:16Z")

</div>

logstashのgrokフィルターに注目してみると、記載されているfilterの書式を使っても、手元の環境で再現しませんでした。  
入力している文字が、実は期待しているフォーマットでない可能性があるのでは。  
logstashのgrokの問題ではないように見えました。

- logstash:5.0.2

検証に使用したconfは以下の通りです。

```auto
input { stdin { } }
filter {
   grok {
      match => { "message" => [
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<\>, SUBJECT:%{GREE
DYDATA:subject}",
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}\>, 
SUBJECT:%{GREEDYDATA:subject}",
        "%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}\>, 
CC2=\<%{NOTSPACE:cc2}\>, SUBJECT:%{GREEDYDATA:subject}"
      ] }
    }
}
output {
  stdout { codec => rubydebug }
}

```

入力文字列: 2016-12-14T00:00:00, TO=[abc@a.com](mailto:abc@a.com), FROM=[ddd@d.com](mailto:ddd@d.com), CC=[hoge@example.com](mailto:hoge@example.com), CC2=[fuga@example.com](mailto:fuga@example.com), SUBJECT:aiueo

としたとき、成功しているように見えます。

```json
{
            "cc" => "hoge@example.com",
    "@timestamp" => 2016-12-14T01:04:09.863Z,
           "cc2" => "fuga@example.com",
       "subject" => "aiueo",
      "@version" => "1",
          "host" => "99120e6bd606",
          "from" => "ddd@d.com",
            "to" => "abc@a.com",
       "message" => "2016-12-14T00:00:00, TO=<abc@a.com>, FROM=<ddd@d.com>, CC=<hoge@example.com>, CC2=<fuga@example.com>, SUBJECT:aiueo",
          "tags" => [],
     "timestamp" => "2016-12-14T00:00:00"
}

```

入力文字列: 2016-12-14T00:00:00, TO=[abc@a.com](mailto:abc@a.com), FROM=[ddd@d.com](mailto:ddd@d.com), CC=[hoge@example.com](mailto:hoge@example.com),CC2=[fuga@example.com](mailto:fuga@example.com), SUBJECT:aiueo  
**CCとCC2の間に空白がないと、指摘されたようなCCにCC2の分も含まれてしまう**

```json
{
            "cc" => "hoge@example.com>,CC2=<fuga@example.com",
    "@timestamp" => 2016-12-14T01:08:45.160Z,
       "subject" => "aiueo",
      "@version" => "1",
          "host" => "99120e6bd606",
          "from" => "ddd@d.com",
            "to" => "abc@a.com",
       "message" => "2016-12-14T00:00:00, TO=<abc@a.com>, FROM=<ddd@d.com>, CC=<hoge@example.com>,CC2=<fuga@example.com>, SUBJECT:aiueo",
          "tags" => [],
     "timestamp" => "2016-12-14T00:00:00"
}

```

---

<div class="post-metadata">

**Author:** ![arm\_band](https://avatars.discourse-cdn.com/v4/letter/a/e0b2c6/32.png) [@arm\_band](https://discuss.elastic.co/u/arm_band)\
**Post date:** [December 14, 2016, 1:26pm UTC](https://discuss.elastic.co/t/logstash-grok-match/68876/4 "2016-12-14T13:26:14Z")

</div>

nxhack様

ご返答有り難うございます。  
こんなにすっきりとした記述ができるのですね。ご教示頂いた記述を基にして

```
"%{TIMESTAMP_ISO8601:timestamp}, TO=\<%{NOTSPACE:to}?\>, FROM=\<%{NOTSPACE:from}\>, CC=\<%{NOTSPACE:cc}*>(, CC2=\<%{NOTSPACE:cc2}?\>)?, SUBJECT:%{GREEDYDATA:subject}"
```

としてパターンの記述を簡略化することができました。ありがとうございます。

* * *

tsgkdt様

ご返答有り難うございます。  
色々見直した結果、ご指摘の通りプログラム側のバグでCC、CC2の文字列を結合する際にスペースが抜けてしまっていました。  
フィールドに入ってこないのでプログラムとlogstash.conf双方を弄っている最中に消してしまっていたようです。  
お騒がせしました。そして、ご指摘により気付くことができました。ありがとうございます。

原因が判明し、当初の意図した通りにフィールドに入ってくるようになったので、これを以て解決とさせて頂きます。  
改めて、ご返答頂いたお二方に感謝の意を申し上げます。ありがとうございました。

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [January 11, 2017, 1:26pm UTC](https://discuss.elastic.co/t/logstash-grok-match/68876/5 "2017-01-11T13:26:14Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.