Duplicados de logstash hacia elasticsearch


(Erick Garcia Perez) #1

Buenos dias, quisiera saber si exise una manera de evitar que logstash envie documentos duplicados,
tienen diferente id pero es el mismo mensaje , me gustaria sabes si hay una mandera de borrarlos con un query dsl o con una configuracion de logstash....
Gracias


(Gabriel Moskovicz) #2

Hola Erick,

Por defecto esto no se puede hacer. Si logstash lo envia duplicado, entonces se va a guardar nuevamente. Entonces si el ID es distinto, en realidad son distintos mensajes no? Sino otra idea es mandar como ID un hash del mensaje o algo que lo haga "mismo mensaje". Pero esto es delicado ya que es algo que tienes que hacer "Manual".

Tambien esta la opcion de buscarlos con un terms aggregations, y luego de-duplicarlos. Sinceramente lo ideal es prevenir que suceda esto desde la fuente inicial. Que no se manden duplicados.

Saludos!


(system) #3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.