При работе по tcp странно добавляются записи

Добрый день. На вирт. машине крутиться ES 2.4 Logstash 2.4 и 4ая кибана.
вот конфиг Logstash'a:
input {
tcp {
host => "192.168.10.179"
port => 5041
}
}

filter {
mutate { gsub => [ "message", "}{", "}\n{" ] }
split { terminator => "\n" }
json {
"source" => "message"
}
}

output {
elasticsearch {
codec => "json"
hosts => ["localhost:9200"]
index => "%{[mytype]}-%{+YYYY.MM.dd}"
flush_size => 10
idle_flush_time => 1
}
}

Когда приходит первая пачка (до пары тысяч json'онвских объектов), создаётся новый индекс. Эти объекты добавляются. Но потом каждую секунду приходит 2-3 новых объекта, которые должны быть сохранены в этот же индекс, но они не появляются в elasticsearch, вплоть до момента пока я не перезапущу logstash, тогда он их выплёвывает опять таки пачкой. Хотелось бы чуть больше интерактива...Хотя бы раз 5 минут. А то после целой ночи такой работы, логи были только из первой пачки.
Что я не так делаю?

А вы не пробовали убрать flush_size и idle_flush_time?

Пробовал. Их я добавил пытаясь решить эту проблему. Разные настройски этих переменных не помог.

Сегодня всю ночь работал тест. И слались логи по tcp в лог стэш. Появились, через какое-то время, как мы перестали слать. Проц ничего не жрало. Такое ощущение что после первых сообщений он открывает рот и начинает хавать, и в ES ничего не уходит пока он не доест.

Поговорил со разработчиками logstash. Они сомневаются, что проблема в elasticsearh output. Порекомендовали, временно заменить elasticsearch output на stdout output, для того, что бы понять где проблема.

Кроме этого, имеет смысл переключиться на более свежую версию logstash.

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.