# Rétention des logs différenciée (Développement, Intégration et exploitation) **URL:** \ **Category:** Discussions en français\ **Tags:** curator\ **Created:** [March 11, 2021, 9:13am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912 "2021-03-11T09:13:35Z")\ **Posts on this page:** 16\ **Page:** 1
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 9:13am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/1 "2021-03-11T09:13:35Z")
Bonjour à tous, Je viens vers vous afin de m'assurer que ma demande est possible ou non. Actuellement, ma configuration en Hot-Warm me permet d'utiliser curator pour basculer tous mes logs d'un index unique vers une seconde nodes une fois un délais de 7 jours atteint, passant ainsi de hot à warm et stocké ainsi sur un serveur de stockage mais restant accessible. Après maintes recherche, je me pose la question s'il est possible de pouvoir appliquer différentes règles de rétentions par type de serveurs. Une façon simple de les identifier sont leurs nom, se terminant respectivement par -dev et -int. Le restant étant les serveurs en exploitation. Existe-t-il une façon de procéder pour permettre un tel filtre ? ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 9:15am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/2 "2021-03-11T09:15:21Z")
Bonjour @matthias-evain Votre message est vide (au cas où vous ne l'avez pas constaté ) Merci. ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 9:16am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/3 "2021-03-11T09:16:19Z")
je constate qu'il ne fallait pas de texte entre les balises ^^, merci ^^ ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 9:44am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/4 "2021-03-11T09:44:20Z")
Est ce qu' un regroupement des indexes par famille de serveur et ensuite appliquer ILM (hot/Warn - règle de rétention) pourront répondre à vos besoins ? Ex: index-xx contenant les logs pour les serveurs de types xx ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 10:39am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/5 "2021-03-11T10:39:03Z")
Oui c'est ce genre de solution à laquelle je pensais, mais techniquement, je ne vois pas de quelle manière configurr pour que mes logs venant de serveur xxx-dev puisse arriver dans index-dev, etc... Windows et Linux confondus. ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 10:53am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/6 "2021-03-11T10:53:54Z")
Tout simplement depuis ton outil d'ingestion des données (logstash, beats ou autres) définir, en fonction du serveur ( si serveur dev, test ou prod ) le nom de l'indexe. Exemple : Sur server dev 1 -- le nom de l'index sera : date-dev Sur server dev 2 -- le nom de l'index sera : date-dev Sur server test 1 -- le nom de l'index sera : date-test Et ainsi les données seront regroupées par environnement ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 11:01am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/7 "2021-03-11T11:01:06Z")
Ok je vois. depuis filebeat, il me faudrais donc ajouter l'index voulue dans "output.logstash:" ```auto output.logstash: index: "xxx-dev" ``` De cette manière, en configurant mes nouveaux index, les logs devraient se regrouper dans les index en question. C'est bien cela ? ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 11:11am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/8 "2021-03-11T11:11:14Z")
Plutot dans la partie : `output.elasticsearch` qu'il faut définir le nom de l'index puisque ton filebeat peux indexer directement les données dans ES. Si tu passes par Logstash (c'est à dire `filebeat -> logstash -> Elasticsearch`) , à ce moment là, tu dois définir les nom des index depuis logstash. L'idée est de retrouver une structure comme ceci : `2021.03.11-dev` qui contient tout les données **des serveurs de dev** de la journée du 2021.03.11 `2021.03.11-test` qui contient tout les données **des serveurs de test** de la journée du 2021.03.11 `2021.03.10-dev` qui contient tout les données **des serveurs de dev** de la journée du 2021.03.10 `2021.03.09-dev` qui contient tout les données **des serveurs de dev** de la journée du 2021.03.09 etc ... > [@matthias-evain](#): > > De cette manière, en configurant mes nouveaux index, les logs devraient se regrouper dans les index en question. oui. ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 11:22am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/9 "2021-03-11T11:22:35Z")
Je vais essayer ça, merci. ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 1:23pm UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/10 "2021-03-11T13:23:22Z")
@matthias-evain N'hésites pas si besoin. ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 4:11pm UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/11 "2021-03-11T16:11:33Z")
Je reviens vers vous, pour le moment je transfert la configuration sur les serveurs souhaité. J'ai bien créé un index avec le même préfix. Voiçi la conf ajouté à filebeat.yml ```auto output.elasticsearch: index: "dev_" setup.template.name: "filebeat" setup.template.pattern: "filebeat-*" ``` J'ai du ajouter le setup.template, une erreur remontait comme celle-ci: `Exiting: setup.template.name and setup.template.pattern have to be set if index name is modified` Malgrès tout ça, l'index est toujours vide. Aucune erreur mais je ne reçois rien non plus comme log. ---
**Author:** ![ahmed\_charafouddine](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ahmed_charafouddine/32/45129_2.png) [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)\ **Post date:** [March 11, 2021, 4:40pm UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/12 "2021-03-11T16:40:17Z")
> [@matthias-evain](#): > > Exiting: setup.template.name and setup.template.pattern have to be set if index name is modified Ah Ah .. il va faloir que tu crée ton propre template de mappings. Et pour les noms des indexes, si tu souhaites pas avoir un regroupement journalier, ça sera un truc style : ` index: dev-%{+yyyy.MM.dd}`. Et depuis kibana, créé un index pattern `dev-*` qui pointera du coup sur tous les indexes dev-xxx ---
**Author:** ![Abdelhalim](https://avatars.discourse-cdn.com/v4/letter/a/838e76/32.png) [@Abdelhalim](https://discuss.elastic.co/u/Abdelhalim)\ **Post date:** [March 11, 2021, 4:50pm UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/13 "2021-03-11T16:50:08Z")
Salut tout le monde, Je ne suis pas sûr, mais je pense qu'en changeant les noms des index et en créant sa propre template, il est impossible d'utiliser `ILM` comme on peut voir sur cette page: [Configure index lifecycle management | Filebeat Reference [7.11] | Elastic](https://www.elastic.co/guide/en/beats/filebeat/current/ilm.html) Il est mentionné: ```auto If index lifecycle management is enabled (which is typically the default), setup.template.name and setup.template.pattern are ignored. ``` Du coup, si je comprends bien, à moins de désactiver ILM, il est impossible de changer le nom de template. ---
**Author:** ![matthias-evain](https://avatars.discourse-cdn.com/v4/letter/m/f4b2a3/32.png) [@matthias-evain](https://discuss.elastic.co/u/matthias-evain)\ **Post date:** [March 11, 2021, 4:54pm UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/14 "2021-03-11T16:54:13Z")
Justement, je ne passe pas par ILM pour la rétention mais par curator. Avec ce genre de fichier pour gérer mes différentes rétentions par index. ---
**Author:** ![Abdelhalim](https://avatars.discourse-cdn.com/v4/letter/a/838e76/32.png) [@Abdelhalim](https://discuss.elastic.co/u/Abdelhalim)\ **Post date:** [March 12, 2021, 7:48am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/15 "2021-03-12T07:48:31Z")
Alors maintenant il ne vous reste qu'à désactiver ILM dans le fichier de configuration de filebeat, vu qu'il est activer par défaut, et de créer un template et un index dans l'ongelette dev de Kibana: Example (mais pas de filebeat): ```auto PUT _template/bazaar { "index_patterns": ["bazaar-*"], "settings": { "number_of_shards": 1, "number_of_replicas": 1, "index.lifecycle.name": "hot-warm-cold-delete-6months-policy", "index.lifecycle.rollover_alias": "bazaar" }, "mappings": { "properties": { "first_seen": {"type": "date", "format": "yyyy-MM-dd HH:mm:ss" }, "sha256_hash": { "type": "keyword"}, "md5_hash": {"type": "keyword"}, "sha1_hash": {"type": "keyword"}, .... ...etc. } ``` et créer le premier index: ```auto PUT bazaar-000001 { "aliases": { "bazaar": { "is_write_index": true } } } ``` Tu peux normalement récupérer le mapping de `filebeat` dans: Stack management --\> Index Management --\> Index Template --\> filebeat --\> mapping ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [April 9, 2021, 7:49am UTC](https://discuss.elastic.co/t/retention-des-logs-differenciee-developpement-integration-et-exploitation/266912/16 "2021-04-09T07:49:28Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.