# Doublon logstash
**URL:** https://discuss.elastic.co/t/doublon-logstash/267867
**Category:** Discussions en français
**Created:** [March 19, 2021, 9:28pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867 "2021-03-19T21:28:31Z")
**Posts on this page:** 9
**Page:** 1
### Author:  [@lali](https://discuss.elastic.co/u/lali)
#### Post date: [March 19, 2021, 9:28pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867/1 "2021-03-19T21:28:31Z")
Bonjour,
Dans mon output je met ca comme variable :
document\_id =\> "%{\_id}"
Mais comment le mettre dans le output kafka ?
Merci d'avance
---
### Author:  [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [March 20, 2021, 8:27am UTC](https://discuss.elastic.co/t/doublon-logstash/267867/2 "2021-03-20T08:27:10Z")
Je ne connais pas Kafka mais tu veux mettre ça où dans Kafka?
Tu pourrais toujours le mettre dans ton document comme champ du document si tu en as besoin ensuite dans Kafka je pense. En faisant un `add_field` dans ton input par exemple.
---
### Author:  [@lali](https://discuss.elastic.co/u/lali)
#### Post date: [March 20, 2021, 10:05am UTC](https://discuss.elastic.co/t/doublon-logstash/267867/3 "2021-03-20T10:05:42Z")
Merci de ton retour.
Sur mon kibana la structure des données qui arrivent sont
\_index
\_type
\_id
\_version
Du coup à chaque fois que le scheduleur passe il reprend toute les données car la valeur de \_id change à chaque fois.
Ce qui fais que je me retrouve avec des doublons de la même ligne à chaque passage du scheduleur.
Même avec un last\_run\_metadata\_path ça change rien.
Donc il faudrait que le \_id soit supprimé sinon j'aurais toujours ces doublons.
Si vous avez une idées ?
Merci d’avance
---
### Author:  [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)
#### Post date: [March 20, 2021, 10:22am UTC](https://discuss.elastic.co/t/doublon-logstash/267867/4 "2021-03-20T10:22:43Z")
J'ai trouvé ce lien qui pourrait vous donner des pistes :
Lien : [https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-deduplication.html](https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-deduplication.html)
---
### Author:  [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [March 20, 2021, 11:24am UTC](https://discuss.elastic.co/t/doublon-logstash/267867/5 "2021-03-20T11:24:49Z")
Partage ta configuration Logstash stp.
---
### Author:  [@lali](https://discuss.elastic.co/u/lali)
#### Post date: [March 20, 2021, 1:13pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867/6 "2021-03-20T13:13:38Z")
En json sur mon kibana je reçois ca :
{
"\_index": "logstash-2021.03.16",
"\_type": "doc",
"\_id": "AXg6DH3HhprNXuf8xKWZ",
"\_version": 1,
"\_score": null,
"\_source": {
"remarks": "Job completed normally",
"proj\_name": "johg",
"job\_name": "johg",
"job\_id": neuf,
"source\_server\_user": "johj",
"end\_time": "2021-03-16T07:59:07.774Z",
"@timestamp": "2021-03-16T07:59:02.923Z",
Le champ "\_id" change à chaque fois que le logstash envoie les données.
De ce fait on à les lignes en plusieurs fois mais avec un "\_id" différent
Du coup je voudrais bien supprimé ce champs "\_id"
---
### Author:  [@lali](https://discuss.elastic.co/u/lali)
#### Post date: [March 20, 2021, 1:15pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867/7 "2021-03-20T13:15:05Z")
merci je vais regardé ca
---
### Author:  [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [March 20, 2021, 1:35pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867/8 "2021-03-20T13:35:26Z")
Peux-tu:
- répondre aux questions ?
- formater ton code proprement ?
Please [read this](https://discuss.elastic.co/t/about-the-elasticsearch-category/21) about how to format.
---
### Author:  [@system](https://discuss.elastic.co/u/system)
#### Post date: [April 17, 2021, 1:35pm UTC](https://discuss.elastic.co/t/doublon-logstash/267867/9 "2021-04-17T13:35:29Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.