Учетверение документа после попадания в es


(Pavel Kozlov) #1

Доброго дня Коллеги,
Странная ситауция.
Работает LS + ES + Ki и все хорошо
идет обработка нетфлоу и сислога.
Для каждого источника свой конфиг и индекс.

Вчера был добавлен конфиг для Windows Event Log.
События пересылаются при помощи WinLogBeat
На тестовых прогонах, когда LS запускается отдельным процессом с одним конфигом - все работает прекрасно.
Как только запускается все вместе. LS как сервис, плюс конфигурационные файлы вместе.
Начинается учетверение всех записей по данному источнику.

Куда копать не понимаю.
новый конфиг ниже
input {
beats {
port => 5044
}
}
filter {

if [type] == "wineventlog" {
        if [computer_name] == "it-print02" {
                if [event_id] != 307 {
                        drop {}
                }
                else {
                        grok {
                                 match => { "message" => "%{WORD} %{INT:docnum}, (?<filename>.*) owned by %{USERNAME:username} on (?<p$
                        }
                        mutate {
                                remove_field => [ "user", "beat", "count", "computer_name", "identifie", "source_name", "category", "r$
                                #rename => ["filename", "[printlog][filename]" ]
                                #rename => ["username", "[printlog][username]" ]
                                #rename => ["printingfrom", "[printlog][printingfrom]" ]
                                #rename => ["printername", "[printlog][printername]" ]
                                #rename => ["docsize", "[printlog][docsize]" ]
                                #convert => { "[printlog][docsize]" => "integer" }
                                #rename => ["docpages", "[printlog][docpages]" ]
                                #convert => { "[printlog][docpages]" => "integer" }
                        }
                }
        }
}
}
output {
        #stdout { codec => rubydebug }
        elasticsearch {
                hosts => ["8.8.8.8"]
                index => "lg-%{type}-%{+YYYY.MM.dd}"
        }
}

(Igor Motov) #2

А LS запускается как сервис тоже на Windows? И какие версии используются?


(Pavel Kozlov) #3

LS, ES, KI запускаются на никсах (Ubuntu 14.04).
Версии последние
LS - 2.3.4
ES - 2.3.5
KI- 4.5.4
Beat - 1.2

может из всех конфигов секцию output вынести в отдельный файл? Она же одинаковая для всех конфигураций.


(Pavel Kozlov) #4

Игорь спасибо,
формально вопрос решился.

Я вынес секцию output в отдельный файл. И для данного индекса события не троятся (а они после перезапуска сервиса эластика стали троиться, а не четвериться).
Наверно это моя ошибка в конфигурационных файлах.
Если у вас есть информация подтверждающая или опровергающая мое мнение, буда благодарен за нее.


(Igor Motov) #5

Обычно это и бывает из-за запуска на неправильных конфигурационных файлах или из-за ошибки в этих файлах. Я спрашивал про версии для того, чтобы попросить вас прислать конкретные файлы. Но если у вас 3 секции output и все они посылают информацию в elasticsearch, то это вполне может объяснить утроение данных.


(system) #6