# Utilisation de ELK pour stocker des fichiers csv contenant des flows **URL:** \ **Category:** Discussions en français\ **Created:** [June 3, 2019, 1:44pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982 "2019-06-03T13:44:31Z")\ **Posts on this page:** 8\ **Page:** 1
**Author:** ![Codhax](https://avatars.discourse-cdn.com/v4/letter/c/f0a364/32.png) [@Codhax](https://discuss.elastic.co/u/Codhax)\ **Post date:** [June 3, 2019, 1:44pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/1 "2019-06-03T13:44:31Z")
Bonjour à tous et à toutes Je suis débutant avec la suite elk et je voudrais faire une chose : J'ai des fichiers CSV qui contiennent des flux de données obtenues avec argus + ra, voici un exemple de fichier : ```auto StartTime Flgs RunTime Proto SrcAddr Sport Dir DstAddr Dport TotPkts TotBytes State 15:22:25.626402 man 0 0 0 0 0 0 STA 13:14:24.779287 e 4.981112 tcp uneIP.41578 -> uneIP.telnet 69 4720 CLO 13:14:29.911912 e d 3.686514 tcp uneIP.41578 -> uneIP.telnet 17 1206 CLO ``` (je préfère masquer les ip car ils y en a des publiques) Donc je possède plusieurs fichiers comme cela dans un répertoire et j'aimerais les indéxer dans elasticsearch, dans un index pattern qui est déjà créé (mais j'ai vu qu'on pouvais mettre plusiseurs types de données dans un seul index pattern) Voici le fichier de configuration que j'ai testé : ```auto input{ file { path => "/home/netflows/*.csv" start_position => "beginning" sincedb_path => "/dev/null" codec => netflow } } output { elasticsearch { hosts => "localhost:9200" index => "index-flows" } stdout{ codec => rubydebug } } ``` Mais j'ai eu plusieurs warnings : ```auto [WARN] 2019-06-03 14:56:56.151 [[main]-pipeline-manager] elasticsearch - Restored connection to ES instance {:url=>"http://localhost:9200/"} [WARN] 2019-06-03 14:56:56.429 [[main]-pipeline-manager] elasticsearch - Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>7} ``` et ensuite pleins de fois celui-ci ```auto [WARN] 2019-06-03 14:56:58.875 [[main] **Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\ **Post date:** [June 3, 2019, 2:35pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/2 "2019-06-03T14:35:53Z") Je ne comprends pas ce que vient faire le codec `netflow` ici (je ne le connais pas ceci-dit). Tes fichiers CSV sont bien au format texte et lisibles ? Par contre, il te faut sans doute ajouter un filtre CSV pour extraire le contenu de chaque ligne. Un exemple de filtre CSV sur cette page: > **[Enriching Your Postal Addresses With the Elastic Stack - Part 1](https://www.elastic.co/fr/blog/enriching-your-postal-addresses-with-the-elastic-stack-part-1)** > > Learn how to enrich your postal addresses using the Elastic Stack to improve search times and get better results from your geo data queries. ---
**Author:** ![Codhax](https://avatars.discourse-cdn.com/v4/letter/c/f0a364/32.png) [@Codhax](https://discuss.elastic.co/u/Codhax)\ **Post date:** [June 3, 2019, 3:13pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/3 "2019-06-03T15:13:31Z")
Merci pour votre réponse J'ai pris exemple en ajoutant le filter csv comme ceci : ```auto filter { csv { columns => ["StartTime","Flgs","RunTime","Proto","SrcAddr","Sport","Dir","DstAddr","Dport","TotPkts","TotBytes","State"] separator => ";" #skip_empty_columns => "true" #skip_empty_rows => "true" } ``` Comment puis-je faire pour créer un type de données dans elasticsearch ? J'ai un index pattern qui contient déjà d'autres données différentes, et je souhaiterai dans cet index pattern créer un type de données que j'appellerais "netflow", de manière retrouver uniquement mes données de fichiers csv lorsque je veux y accèder ? Merci beaucoup ---
**Author:** ![Codhax](https://avatars.discourse-cdn.com/v4/letter/c/f0a364/32.png) [@Codhax](https://discuss.elastic.co/u/Codhax)\ **Post date:** [June 4, 2019, 8:48am UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/4 "2019-06-04T08:48:41Z")
Bonjour Monsieur, Après quelques recherches concernant ma question sur les types de données, j'ai trouvé un exemple de "mapping" ```auto PUT 'Server_URL/Index_Name/_mapping/Mapping_Name' { "type_1" : { "properties" : { "field1" : {"type" : "string"} } ``` si je comprends bien je dois mettre le type de données que je veux (par exemple Netflow, CSV, ou autres) à la place de **type\_1** , et j'imagine que je dois indiquer ce mapping dans mon fichier de configuration logstash ,? Mon but est de pouvoir indéxer deux types de données différentes dans un seul index-pattern (ou alors il est préfèrable d'en créer un deuxième ?) et d'obtenir uniquement les données Netflows, ou alors mes autres données, ou les deux, quand j'en ai besoin Merci et bonne journée ---
**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\ **Post date:** [June 4, 2019, 4:37pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/5 "2019-06-04T16:37:08Z")
Créé un nouvel index. ---
**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\ **Post date:** [June 4, 2019, 4:37pm UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/6 "2019-06-04T16:37:53Z")
La notion de type disparait en version 7. Donc un index par "type" d'objet est ce qu'il faut faire, sauf besoins très particuliers. ---
**Author:** ![gabriel\_tessier](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/gabriel_tessier/32/27911_2.png) [@gabriel\_tessier](https://discuss.elastic.co/u/gabriel_tessier)\ **Post date:** [June 5, 2019, 12:52am UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/7 "2019-06-05T00:52:01Z")
Salut, > [@Codhax](#): > > Mon but est de pouvoir indéxer deux types de données différentes dans un seul index-pattern > .... et d'obtenir uniquement les données Netflows, ou alors mes autres données, ou les deux, quand j'en ai besoin Juste a ce propos n’oublie pas Le Common schema qui pourrait être utile d’après le besoin que tu présente. > **[Elastic Common Schema (ECS): The Common Event Model for Elasticsearch](https://www.elastic.co/blog/introducing-the-elastic-common-schema)** > > Introducing the Elastic Common Schema (ECS), a new specification that provides a consistent and customizable way to structure your data in Elasticsearch, helping machine learning jobs be applied more broadly, searches be crafted more narrowly, and... > **[Easier Observability with the Elastic Common Schema](https://www.elastic.co/blog/easier-observability-with-the-elastic-common-schema)** > > Correlating the three pillars of observability — logs, metrics, and APM trace data — is a lot easier when they all share a common schema. Learn about the Elastic Common Schema, how it can improve your current ingest model, and the benefits it... et la doc: > **[Elastic Common Schema (ECS) Reference \[8.11\] | Elastic](https://www.elastic.co/guide/en/ecs/current/index.html)** ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [July 3, 2019, 12:52am UTC](https://discuss.elastic.co/t/utilisation-de-elk-pour-stocker-des-fichiers-csv-contenant-des-flows/183982/8 "2019-07-03T00:52:07Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.