При работе по tcp странно добавляются записи

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день. На вирт. машине крутиться ES 2.4 Logstash 2.4 и 4ая кибана.
вот конфиг Logstash'a:
input {
tcp {
host => "192.168.10.179"
port => 5041
}
}

filter {
mutate { gsub => [ "message", "}{", "}\n{" ] }
split { terminator => "\n" }
json {
"source" => "message"
}
}

output {
elasticsearch {
codec => "json"
hosts => ["localhost:9200"]
index => "%{[mytype]}-%{+YYYY.MM.dd}"
flush_size => 10
idle_flush_time => 1
}
}

Когда приходит первая пачка (до пары тысяч json'онвских объектов), создаётся новый индекс. Эти объекты добавляются. Но потом каждую секунду приходит 2-3 новых объекта, которые должны быть сохранены в этот же индекс, но они не появляются в elasticsearch, вплоть до момента пока я не перезапущу logstash, тогда он их выплёвывает опять таки пачкой. Хотелось бы чуть больше интерактива...Хотя бы раз 5 минут. А то после целой ночи такой работы, логи были только из первой пачки.
Что я не так делаю?

2

А вы не пробовали убрать flush_size и idle_flush_time?

3

Пробовал. Их я добавил пытаясь решить эту проблему. Разные настройски этих переменных не помог.

Сегодня всю ночь работал тест. И слались логи по tcp в лог стэш. Появились, через какое-то время, как мы перестали слать. Проц ничего не жрало. Такое ощущение что после первых сообщений он открывает рот и начинает хавать, и в ES ничего не уходит пока он не доест.

4

Поговорил со разработчиками logstash. Они сомневаются, что проблема в elasticsearh output. Порекомендовали, временно заменить elasticsearch output на stdout output, для того, что бы понять где проблема.

Кроме этого, имеет смысл переключиться на более свежую версию logstash.