Не отображает поля в Kibana, ошибки grok

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день. Долгое время бьюсь с проблемой. Пытаюсь с помощью grok раскладывать логи с русскоязычными символами но что то никак не получается. Как итог - в Kibana тоже пишет empty string. Использую filebeat + ES + kibana. Файлы входящие формата .log Укажите в чем может быть проблема.

    POST _ingest/pipeline/_simulate
    {
      "pipeline": {
      "description" : "parse multiple patterns",
      "processors": [
        {
          "grok": {
            "field": "message",
            "patterns": ["%{NUMBER:num_min}:%{BASE10NUM:num_sec}-%{WORD:duration},% 
   {WORD:event1c},%{WORD:level_event},process=%{WORD:process_name},Usr=%{WORD:usr}"]
          }
        },  
        {
            "grok": {
              "field": "message",
              "patterns": [
                "process=(%{DATA:process},|%{GREEDYDATA:process})"
              ],
                  "on_failure": [
                {
                  "set": {
                    "field": "process",
                    "value": ""
                  }
                }
              ]
            }
        }
      ]
     },
    "docs":[
       {
        "_source": {
          "message": "16:40.991013- 
    1,SCALL,0,process=ragent,Usr=Администратор,ClientID=248,Interface=0459eaa0-589f-4a6d- 
   9eed-c1a7461c8e3f,IName=IClusterRegistry,Method=18,CallID=915855,MName=getServersList"
       }
       }
      ]
    }
2

Добрый день. не так давно тоже столкнулся с этой проблемой.
Тут посоветовали использовать csv вместо grok, т.к. последний не воспринимает кириллицу.

3

А можно ли это все организовать без logstash ? Используя только fb es kibana. Я новечек в этом деле и много не понятно.

4

Есть csv ingest processor. Можно также писать регулярные выражения самому вместо использования WORD. Например, заменив его на что-нибудь вроде [^,].

5

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.