Logstash rotation logs

Bonjour à tous,

Dans le cadre d'un projet dans l'entreprise ou je travail actuellement, je dois mettre en place une serveur elk pour la récupération des logs de notre infrastructure.

Je viens vers vous car je voudrais savoir s'il est possible de créé ou de mettre en place une rotation des logs présent dans logstash.

Je m'explique, nous accumulons pas mal de log sur le serveur est cela prend de la place sur le serveur. Je voudrais exporter un certain nombre de logs exemple les 20 dernier jours vers un autre point de stockage. est-il possible de le faire ?

Bien sur est-ce qu'il est possible de faire la réimportation de ces logs exporter ?

Merci pour votre aide,

Bien cordialement,

Bonjour,

Je sens qu'il y a une confusion dans ta question, je vais essayer de répondre avec l'exemple suivant:

Un serveur avec nginx et un fichier logrotate.d/nginx qui conserve les fichiers 7 jours.
Sur ce serveur tu dois installer filebeat, qui va se charger d'envoyer tes logs a elastic qui va transformer (en utilisant ingest) et conserver le contenu dans un index, cet index peux être conserver 20 jours (il faut utiliser ILM pour configurer le temps de rétention).
Doc pour ILM:
https://www.elastic.co/guide/en/elasticsearch/reference/7.4/index-lifecycle-management-api.html
Doc pour filebeat:
https://www.elastic.co/guide/en/elasticsearch/reference/7.4/configuring-filebeat.html

Doc pour ingest:
https://www.elastic.co/guide/en/elasticsearch/reference/7.4/ingest.html

Je pense que je répond à la première question. Si les logs peuvent être ingerés directement avec ingest et sans Logstash ca fera toujours un serveur en moins à gérer.

Pour la question 2 oui si tu conserves tes fichiers de logs tu peux toujours réimporter tes fichiers, voir la doc de filebeat ou logstash suivant les besoins. Pour cela il faut que tu gère toi même le transfert et le stockage de tes fichiers, après tout dépends des données si il y'a beaucoup de traitements vaux mieux restaurer des sauvegardes... la aussi ca dépends de tes besoins et de ce que tu va mettre en place.

Sinon pour commencer le mieux c'est d'utiliser cloud.elastic c'est rapide a mettre en place et tu peux te concentrer sur la collecte et le formattage de données et je crois qu'ils ont des templates pour la collect de logs avec serveurs hot warm cold, qui a l'air de correspondre a ton besoin.

en espérant ne pas avoir répondu a coté. :grinning:

Bonjour Gabriel,

Tout abord je te remercie pour ta réponse complète :wink:

Désolé je découvre cette solution donc c'est pour cela que les explications ne sont pas correcte ;).

Je vais regarder aux docs que tu m'as fournie.

Je te tiens au courant :wink:

Bonjour Gabriel,

J'ai mis en place ce que tu m'avais conseillé depuis quelques jours et cela fonction merci beaucoup :wink: pour ton aide

1 Like