Доброго дня уважаемые форумчане!
Моя схема передачи логов следующая:
App servers -> AWS SQS (очередь) -> Logstash (input => sqs, outsput => elasticsearch) -> AWS Elasticsearch
Иногда Elasticsearch блокируется на запись (например, из-за недостатка места) и отсюда у меня возникают вопросы.
Вопросы:
- Что при этом происходит в Logstash? Сообщения попадают в in-memory очередь?
- Есть предел этих сообщений (размер RAM)?
- Тогда почему при заблокированной записи в Elasticsearch я вижу, что очередь SQS растёт, Logstash не падает
- Если он не падает то может объем памяти выделенный под JVM heap заполняется и дальше Logstash перестаёт принимать сообщения?
Помогите узнать правду. Благодарю заранее за ответы 