Filebeat/Logstash/Elastic : éviter les doublons


(Charles-Henri Boust) #1

Bonjour,

comment éviter les doublons dans elastic lorsque l'on utilise logstash pour injecter dedans ?

Je suis en train de charger de la données et il m'arrive d'avoir des fichiers en doublons, forcément leur timestamp unix changent et filebeat les renvoient à logstash qui les traitent.

Si vous avez une idée,

Charles


(David Pilato) #2

Utiliser le même _id ?

David Pilato- Developer | Evangelist
@dadoonet|@elasticfr


(Charles-Henri Boust) #3

Avec un filter-update par exemple ? Ou tout simplement avec un add_field ?
Je me suis toujours posé la question de savoir comment surcharger les variables "globales" d'elastic. J'arrive à le faire (timestamp, host), mais c'est plus par hasard qu'autre chose.


(system) #4