Buenos dias, quisiera saber si exise una manera de evitar que logstash envie documentos duplicados,
tienen diferente id pero es el mismo mensaje , me gustaria sabes si hay una mandera de borrarlos con un query dsl o con una configuracion de logstash....
Gracias
Hola Erick,
Por defecto esto no se puede hacer. Si logstash lo envia duplicado, entonces se va a guardar nuevamente. Entonces si el ID es distinto, en realidad son distintos mensajes no? Sino otra idea es mandar como ID un hash del mensaje o algo que lo haga "mismo mensaje". Pero esto es delicado ya que es algo que tienes que hacer "Manual".
Tambien esta la opcion de buscarlos con un terms aggregations, y luego de-duplicarlos. Sinceramente lo ideal es prevenir que suceda esto desde la fuente inicial. Que no se manden duplicados.
Saludos!
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.