# Como melhorar a performance de indexação de logs

**URL:** <https://discuss.elastic.co/t/como-melhorar-a-performance-de-indexacao-de-logs/242092>\
**Category:** Elastic em Português - Brasil\
**Created:** [July 21, 2020, 7:47pm UTC](https://discuss.elastic.co/t/como-melhorar-a-performance-de-indexacao-de-logs/242092 "2020-07-21T19:47:07Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![felipeesteves](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/felipeesteves/32/72558_2.png) [@felipeesteves](https://discuss.elastic.co/u/felipeesteves)\
**Post date:** [July 21, 2020, 7:47pm UTC](https://discuss.elastic.co/t/como-melhorar-a-performance-de-indexacao-de-logs/242092/1 "2020-07-21T19:47:07Z")

</div>

Olá,

Eu tenho um cenário onde tenho 5 Redis que armazenam logs. Cada Redis desse tem N Logstashs conectados.  
Cada grupo de logstashs escreve em um índice de um mesmo cluster de Elastic Search.  
Os índices são rotacionados por hora e tem em média 25GB e 45MM de mensagens por hora.  
O cluster de ElasticSearch é composto por 10 data nodes, de maneira que cada node tenha somente 1 shard, seja replica ou primary.

O meu problema está sendo em manter a fila dos Redis zerada. O modo que temos conseguido é escalando de forma bruta o logstash, usando 3GB de heap, PIPELINE\_BATCH\_SIZE=3000, REDIS\_THREADS=30, REDIS\_BATCH\_COUNT=3000, geralmente 20 a 30 logstashs por índice.

Ainda não consegui monitorar bem o Logstash, mas o ElasticSearch está sendo monitorado via Prometheus/Grafana.  
Nele, a latência de escrita aparece sempre na casa de 0,3ms.  
Embora com 2 shards por node ela se mantenha assim mas a performance piore, não está claro para mim que agora o problema é no ElasticSearch.

O Redis também não apresenta nenhum alarme.

Gostaria de saber se alguém tem alguma dica da melhor forma de escoar esse throughput de mensagens com o Logstash, melhores configurações, etc...

---

<div class="post-metadata">

**Author:** ![leandrojmp](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/leandrojmp/32/107231_2.png) [@leandrojmp](https://discuss.elastic.co/u/leandrojmp)\
**Post date:** [September 2, 2020, 9:19pm UTC](https://discuss.elastic.co/t/como-melhorar-a-performance-de-indexacao-de-logs/242092/2 "2020-09-02T21:19:09Z")

</div>

Como é a config do pipeline no logstash? A opção `threads` tá configurada pra quanto? Compartilha o pipeline.

Já deu uma olhada nesse documento também? [https://www.elastic.co/blog/just\_enough\_redis\_for\_logstash](https://www.elastic.co/blog/just_enough_redis_for_logstash)

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [November 4, 2022, 8:07am UTC](https://discuss.elastic.co/t/como-melhorar-a-performance-de-indexacao-de-logs/242092/3 "2022-11-04T08:07:08Z")

</div>