# При работе по tcp странно добавляются записи

**URL:** <https://discuss.elastic.co/t/tcp/80640>\
**Category:** Вопросы на русском языке\
**Created:** [March 30, 2017, 9:27am UTC](https://discuss.elastic.co/t/tcp/80640 "2017-03-30T09:27:02Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![skjame](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/skjame/32/16906_2.png) [@skjame](https://discuss.elastic.co/u/skjame)\
**Post date:** [March 30, 2017, 9:27am UTC](https://discuss.elastic.co/t/tcp/80640/1 "2017-03-30T09:27:02Z")

</div>

Добрый день. На вирт. машине крутиться ES 2.4 Logstash 2.4 и 4ая кибана.  
вот конфиг Logstash'a:  
input {  
tcp {  
host =\> "192.168.10.179"  
port =\> 5041  
}  
}

filter {  
mutate { gsub =\> ["message", "}{", "}\n{"] }  
split { terminator =\> "\n" }  
json {  
"source" =\> "message"  
}  
}

output {  
elasticsearch {  
codec =\> "json"  
hosts =\> ["localhost:9200"]  
index =\> "%{[mytype]}-%{+YYYY.MM.dd}"  
flush\_size =\> 10  
idle\_flush\_time =\> 1  
}  
}

Когда приходит первая пачка (до пары тысяч json'онвских объектов), создаётся новый индекс. Эти объекты добавляются. Но потом каждую секунду приходит 2-3 новых объекта, которые должны быть сохранены в этот же индекс, но они не появляются в elasticsearch, вплоть до момента пока я не перезапущу logstash, тогда он их выплёвывает опять таки пачкой. Хотелось бы чуть больше интерактива...Хотя бы раз 5 минут. А то после целой ночи такой работы, логи были только из первой пачки.  
Что я не так делаю?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [March 30, 2017, 2:51pm UTC](https://discuss.elastic.co/t/tcp/80640/2 "2017-03-30T14:51:26Z")

</div>

А вы не пробовали убрать `flush_size` и `idle_flush_time`?

---

<div class="post-metadata">

**Author:** ![skjame](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/skjame/32/16906_2.png) [@skjame](https://discuss.elastic.co/u/skjame)\
**Post date:** [March 31, 2017, 6:49am UTC](https://discuss.elastic.co/t/tcp/80640/3 "2017-03-31T06:49:53Z")

</div>

Пробовал. Их я добавил пытаясь решить эту проблему. Разные настройски этих переменных не помог.

Сегодня всю ночь работал тест. И слались логи по tcp в лог стэш. Появились, через какое-то время, как мы перестали слать. Проц ничего не жрало. Такое ощущение что после первых сообщений он открывает рот и начинает хавать, и в ES ничего не уходит пока он не доест.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [April 3, 2017, 5:34pm UTC](https://discuss.elastic.co/t/tcp/80640/4 "2017-04-03T17:34:56Z")

</div>

Поговорил со разработчиками logstash. Они сомневаются, что проблема в elasticsearh output. Порекомендовали, временно заменить elasticsearch output на stdout output, для того, что бы понять где проблема.

Кроме этого, имеет смысл переключиться на более свежую версию logstash.

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [May 1, 2017, 5:35pm UTC](https://discuss.elastic.co/t/tcp/80640/5 "2017-05-01T17:35:08Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.