Logstash pipeline graceful shutdown: потеря in-memory данных?

Elastic In Your Native Tongue Вопросы на русском языке
1

Ребят всем привет!

Подскажите у нас имеется Logstash версии 6.x (latest) который отправляет данные в Elasticsearch, он установлен на AWS ASG.

Я пытаюсь понять, при терминировании инстанса ASG (ASG делает нечто вроде shutdown -h now, что по сути graceful shutdown) - что произойдет с данными которые находятся в данный момент в памяти (в пайплайне)?

Будут ли они утеряны при graceful shutdown или заблокируется INPUT а затем произойдет доставка в ES и Logstash завершит работу?

Благодарю за Ваше время и ответы!

Спасибо,
Паша

2
3

Игорь, добрый день!
Благодарю за ответ - перечитал еще раз документацию. В описании указано:

If Logstash experiences a temporary machine failure, the contents of the in-memory queue will be lost.

Но к сожалению я не нашел описания, что происходит при graceful shutdown (и происходит ли вообще?)
Дело в том что AWS ASG - вещь сильно временная и PQ (persistance queue) не спасет нас от потери данных (диск будет удаляться вместе с экземпляром EC2).

Перефразируя вопрос - остановит ли Logstash все input и завершит ли цепочку

 queue → filter + output

если получен сигнал на завершение процесса?

4
1 Like
5

Спасибо, Игорь!
Как всегда - Вы знаете ответы на любые вопросы =)

Благодарю за Ваше время!

6

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.