Combiner plusieurs pipelines d'ingestion en parallèle et/ou en série

Elastic In Your Native Tongue Discussions en français
1

Salut,

J'utilise des pipelines d'ingestions avec Filebeat pour traiter mes logs avant d'arriver dans Elasticsearch.
Mes logs doivent passer par un pipeline spécifique (A ou B) selon les leurs provenances. J'arrive à leurs affecter chacun un pipeline dans la partie "inputs" du fichier de config "filebeat.yml". Jusque là tout se passe bien...
Cependant, dans la partie "output.elasticsearch" j'utilise un dernier pipeline muni de la condition "when" s'appliquant aux logs passédant le caractère "{" dans leur champ "msg". Mais mes logs semblent ne pas le traverser, car mes résultats obtenus dans le "devtools" de Kibana sont ceux obtenus sans le pipeline conditionnel en output...

#=========================== Filebeat inputs =============================
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - C:\My_logs_A\*.log
    pipeline: pipeline_A

  - type: log
    enabled: true
    paths:
      - C:\My_logs_B\*.log
    pipeline: pipeline_B

#============================= Filebeat modules ===============================

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

#============================== Kibana =====================================
setup.kibana:
  host: "localhost:5601"

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
hosts: ["localhost:9200"]
  pipelines:     
    - pipeline: pipeline_C
      when.contains.msg: "{"
  indices:
    - index: "My_logs-%{+yyyy.MM.dd}"
setup.ilm.enabled: false
setup.template:
  enabled: false
2

Je me demande si { n'est pas vu comme un caractère spécial auquel cas il faudrait écrire \{.

3

J'ai fait 2 tests :

  1. En réalisant la modification que vous proposez dans le "yml" (à ma ligne '164' : "\ {" au lieu de "{")
    j'obtiens le message d'erreur suivant en lançant filebeat :

-> Exiting: error loading config file: yaml: line 164: found unknown escape character

  1. Si je réalise cette modification dans mes logs uniquement :
    filebeat ne plante pas et tourne correctement mais je n'ai rien qui apparaît dans l'index management
4

J'avoue que je ne sais pas. Peut-être que @ruflin connait la réponse ?

5

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.