# Filebeat/Logstash/Elastic : éviter les doublons

**URL:** https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281
**Category:** Discussions en français
**Created:** [February 9, 2016, 2:05pm UTC](https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281 "2016-02-09T14:05:20Z")
**Posts on this page:** 4
**Page:** 1

<div class="post-metadata">

### Author: ![C\_H](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/c_h/32/20796_2.png) [@C\_H](https://discuss.elastic.co/u/C_H)
#### Post date: [February 9, 2016, 2:05pm UTC](https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281/1 "2016-02-09T14:05:20Z")

</div>

Bonjour,

comment éviter les doublons dans elastic lorsque l'on utilise logstash pour injecter dedans ?

Je suis en train de charger de la données et il m'arrive d'avoir des fichiers en doublons, forcément leur timestamp unix changent et filebeat les renvoient à logstash qui les traitent.

Si vous avez une idée,

Charles

---

<div class="post-metadata">

### Author: ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [February 9, 2016, 3:20pm UTC](https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281/2 "2016-02-09T15:20:54Z")

</div>

Utiliser le même \_id ?

David Pilato- Developer | Evangelist  
@dadoonet|@elasticfr

---

<div class="post-metadata">

### Author: ![C\_H](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/c_h/32/20796_2.png) [@C\_H](https://discuss.elastic.co/u/C_H)
#### Post date: [February 9, 2016, 5:43pm UTC](https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281/3 "2016-02-09T17:43:15Z")

</div>

Avec un [filter-update](https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-update) par exemple ? Ou tout simplement avec un add\_field ?  
Je me suis toujours posé la question de savoir comment surcharger les variables "globales" d'elastic. J'arrive à le faire (timestamp, host), mais c'est plus par hasard qu'autre chose.

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [July 6, 2017, 1:49pm UTC](https://discuss.elastic.co/t/filebeat-logstash-elastic-eviter-les-doublons/41281/4 "2017-07-06T13:49:33Z")

</div>


