# Combiner plusieurs pipelines d'ingestion en parallèle et/ou en série

**URL:** https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710
**Category:** Discussions en français
**Created:** [March 16, 2020, 8:21am UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710 "2020-03-16T08:21:34Z")
**Posts on this page:** 5
**Page:** 1

<div class="post-metadata">

### Author: ![oula\_oula](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/oula_oula/32/63182_2.png) [@oula\_oula](https://discuss.elastic.co/u/oula_oula)
#### Post date: [March 16, 2020, 8:21am UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710/1 "2020-03-16T08:21:34Z")

</div>

Salut,

J'utilise des pipelines d'ingestions avec Filebeat pour traiter mes logs avant d'arriver dans Elasticsearch.  
Mes logs doivent passer par un pipeline spécifique (A ou B) selon les leurs provenances. J'arrive à leurs affecter chacun un pipeline dans la partie "inputs" du fichier de config "filebeat.yml". Jusque là tout se passe bien...  
Cependant, dans la partie "output.elasticsearch" j'utilise un dernier pipeline muni de la condition "when" s'appliquant aux logs passédant le caractère "{" dans leur champ "msg". Mais mes logs semblent ne pas le traverser, car mes résultats obtenus dans le "devtools" de Kibana sont ceux obtenus sans le pipeline conditionnel en output...

```auto
#=========================== Filebeat inputs =============================
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - C:\My_logs_A\*.log
    pipeline: pipeline_A

  - type: log
    enabled: true
    paths:
      - C:\My_logs_B\*.log
    pipeline: pipeline_B

#============================= Filebeat modules ===============================

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

#============================== Kibana =====================================
setup.kibana:
  host: "localhost:5601"

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
hosts: ["localhost:9200"]
  pipelines:     
    - pipeline: pipeline_C
      when.contains.msg: "{"
  indices:
    - index: "My_logs-%{+yyyy.MM.dd}"
setup.ilm.enabled: false
setup.template:
  enabled: false

```

---

<div class="post-metadata">

### Author: ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [March 16, 2020, 9:12am UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710/2 "2020-03-16T09:12:49Z")

</div>

Je me demande si `{` n'est pas vu comme un caractère spécial auquel cas il faudrait écrire `\{`.

---

<div class="post-metadata">

### Author: ![oula\_oula](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/oula_oula/32/63182_2.png) [@oula\_oula](https://discuss.elastic.co/u/oula_oula)
#### Post date: [March 16, 2020, 9:52am UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710/3 "2020-03-16T09:52:38Z")

</div>

J'ai fait 2 tests :

1. En réalisant la modification que vous proposez dans le "yml" (à ma ligne '164' : "\ {" au lieu de "{")  
j'obtiens le message d'erreur suivant en lançant filebeat :

-\> Exiting: error loading config file: yaml: line 164: found unknown escape character

1. Si je réalise cette modification dans mes logs uniquement :  
filebeat ne plante pas et tourne correctement mais je n'ai rien qui apparaît dans l'index management

---

<div class="post-metadata">

### Author: ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [April 3, 2020, 3:45pm UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710/4 "2020-04-03T15:45:22Z")

</div>

J'avoue que je ne sais pas. Peut-être que @ruflin connait la réponse ?

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [May 1, 2020, 3:45pm UTC](https://discuss.elastic.co/t/combiner-plusieurs-pipelines-dingestion-en-parallele-et-ou-en-serie/223710/5 "2020-05-01T15:45:31Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
