Filebeat/Logstash/Elastic : éviter les doublons

Elastic In Your Native Tongue Discussions en français
1

Bonjour,

comment éviter les doublons dans elastic lorsque l'on utilise logstash pour injecter dedans ?

Je suis en train de charger de la données et il m'arrive d'avoir des fichiers en doublons, forcément leur timestamp unix changent et filebeat les renvoient à logstash qui les traitent.

Si vous avez une idée,

Charles

2

Utiliser le même _id ?

David Pilato- Developer | Evangelist
@dadoonet|@elasticfr

3

Avec un filter-update par exemple ? Ou tout simplement avec un add_field ?
Je me suis toujours posé la question de savoir comment surcharger les variables "globales" d'elastic. J'arrive à le faire (timestamp, host), mais c'est plus par hasard qu'autre chose.