# Ingestion de deux fichiers CSV dans elastic

**URL:** <https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091>\
**Category:** Discussions en français\
**Created:** [May 11, 2020, 6:04pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091 "2020-05-11T18:04:30Z")\
**Posts on this page:** 10\
**Page:** 1

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 11, 2020, 6:04pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/1 "2020-05-11T18:04:30Z")

</div>

Bonjour,

J'utilise Logstash et filebeat pour l'ingestion de deux fichiers csv dans elastic  
j'ai créer deux config logstash et une config file beat pour la lecture de mes deux fichiers  
j'ai remarquer quand mes data dans elastic est mélanger existe il des bonne pratiques pour  
ça???

Merci d'avance 🙂

---

<div class="post-metadata">

**Author:** ![Luca\_Belluccini](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/luca_belluccini/32/33239_2.png) [@Luca\_Belluccini](https://discuss.elastic.co/u/Luca_Belluccini)\
**Post date:** [May 11, 2020, 7:12pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/2 "2020-05-11T19:12:11Z")

</div>

Salut @Youssef_SBAI

Tu n'est pas obligé a utiliser Filebeat et Logstash.  
C'est bien possible d'effectuer l'ingestion de fichiers csv en utilisant Filebeat avec une ingest pipeline Elasticsearch ou seulement avec Logstash.

> [@Youssef\_SBAI](#):
>
> j'ai remarquer quand mes data dans elastic est mélanger existe il des bonne pratiques pour  
> ça???

En théorie chaque ligne a un champ qui représente le nom du fichier.  
Le nombre des lignes peut être préservé ou pas selon la pipeline et méthodes utilisé.

---

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 11, 2020, 7:18pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/3 "2020-05-11T19:18:48Z")

</div>

avec logstash faut il créer deux fihiers de config une conf pour chaque fichiers ?

---

<div class="post-metadata">

**Author:** ![Luca\_Belluccini](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/luca_belluccini/32/33239_2.png) [@Luca\_Belluccini](https://discuss.elastic.co/u/Luca_Belluccini)\
**Post date:** [May 11, 2020, 10:27pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/4 "2020-05-11T22:27:29Z")

</div>

> [@Youssef\_SBAI](#):
>
> avec logstash faut il créer deux fichiers de config une conf pour chaque fichiers ?

Non tu n'est pas oblige.

Si tu as plusieurs fichiers CSV et ils ont la même structure tu peux créer un seul `file` input avec `path` qui pointe vers le dossier ou ils sont stockés ([documentation](https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#plugins-inputs-file-path)).  
E.g. `path => "/dossier.../*.csv"`

Il faut faire attention pour la gestion des en-tête des fichier CSV.  
Si les 2 fichiers ont le meme en-tete:

```auto
input {
  file {
    path => "/somewhere/*.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
      separator => ","
      columns => ["Col1", "Col2", "Col3"]
  }
}

```

Si tu as des doutes, n'hesite pas a partager les premieres 2 lignes des fichiers CSV.

* * *

Pour info, c'est possible d'importer des fichiers [csv meme depuis Kibana](https://www.elastic.co/fr/blog/importing-csv-and-log-data-into-elasticsearch-with-file-data-visualizer) si tu as une license `basic`.

---

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 12, 2020, 5:50am UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/5 "2020-05-12T05:50:40Z")

</div>

mes deux fichiers non pas le même en-tete

---

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 12, 2020, 5:59am UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/6 "2020-05-12T05:59:54Z")

</div>

voici les 2 premiers lignes de mes fichiers

fichier 1

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/0/b06e300e413f52fe7e0edae337bbf55f47ea4cfd.png)

fichier 2  
 ![image](https://us1.discourse-cdn.com/elastic/original/3X/c/f/cfe3ce356cd35fb3772348598e045c74e54f8d0b.png)

pour le 1 fichier j'ai réaliser l'ingestion avec filebeat et Logstash  
je voulais ingérer le 2 fichiers en utilisant filebeat et Logstash dans le même index que  
le premier fichier

---

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 12, 2020, 9:38am UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/7 "2020-05-12T09:38:35Z")

</div>

j'ai utiliser file beat et logsth pour traiter mes deux fichiers

ma config file beat est

```
- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
   - C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\FICHIER.csv
   
  paths:
   - C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\poca.csv

```

et ma config logstash est :

```
input {
    beats {
    port => "5044"
    }
}    
              
filter {

# added condition for first file
if [path] == "C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\FICHIER.csv"{
csv{
separator => ";"
columns => ["chaine", "job", "date_plan", "statut", "date_debut", "date_fin", "serveur", "numero_passage", "application", "sous_application"]
}
date {
match => ["date_plan" , "dd/MM/YYYY"]
}

date {
match => ["date_debut" , "dd/MM/YYYY HH:mm"]
}

date {
match => ["date_fin" , "dd/MM/YYYY HH:mm"] 
}
mutate {
convert => { "numero_passage" => "integer" }
}

}
# added condition for second file
else if [path] == "C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\poca.csv"{
csv{
separator => ";"
columns => ["date_fraicheur"]
}
# ommitted mutations for second file
mutate {
convert => { "date_fraicheur" => "integer" }
}

}

}

output{
    # added condition for first file
    if [path] == "C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\FICHIER.csv"{ 
        elasticsearch{
            hosts => "http://localhost:9200"
            index => "hello"
        }
    }
    # added condition for second file
    else if [path] == "C:\Users\h83710\Desktop\elastic\logstash-7.5.2\test\poca.csv"{
        elasticsearch{
            hosts => "http://localhost:9200"
            index => "hello"
        }
    }
    stdout {codec => rubydebug}
}
```

---

<div class="post-metadata">

**Author:** ![Youssef\_SBAI](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/youssef_sbai/32/64242_2.png) [@Youssef\_SBAI](https://discuss.elastic.co/u/Youssef_SBAI)\
**Post date:** [May 12, 2020, 9:39am UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/8 "2020-05-12T09:39:47Z")

</div>

j'ai pas eu d'erreur en lançant logstash mais j'ai pas d'ingestion dans Elastic ?

---

<div class="post-metadata">

**Author:** ![Charles.w](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/charles.w/32/15486_2.png) [@Charles.w](https://discuss.elastic.co/u/Charles.w)\
**Post date:** [May 13, 2020, 2:21pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/9 "2020-05-13T14:21:55Z")

</div>

Salut,

Filebeat lit bien tes fichiers ? Tu as purgé la registry de filebeat ? Dans l'exemple de configuration complet qui est fourni avec filebeat, on peut lire ce qui suit...si cela peut t'aider à retrouver ce fichier et à purger ta registry...

```auto
    # Registry data path. If a relative path is used, it is considered relative to the
    # data path.
    #filebeat.registry.path: ${path.data}/registry

```

Cordialement,

Charles.w

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [June 10, 2020, 2:22pm UTC](https://discuss.elastic.co/t/ingestion-de-deux-fichiers-csv-dans-elastic/232091/10 "2020-06-10T14:22:01Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.