CPU a 100 %, conseils et astuces


(Sylvain 69) #1

Bonjour à tous,

pour mon tout premier poste en français je viens vous demander quelques conseils.

Tout d'abord j'aimerais préciser que je débute sur ELK, que je n'ai aucune notion en base de donnée et/ou en développement.
Je pars donc de zéro, soyez tolérant si certaine de ces questions semblent "bêtes" :smiley:

j'ai monté un stack ELK sur une VM CentOS 7 avec 2vCPU et 8Go de RAM.

Au départ c'était pour répondre à certaines petites demandes comme le suivi des ouvertures de sessions et le suivi de l'activité des groupes de sécurité de l'AD (ajout/suppression de membre à un groupe)

puis au fur et à mesure que je m’intéressait à ELK j'ai fini par ajouter des choses, du netflow, du syslog, etc...

malheureusement je me retrouve maintenant avec une machine qui est à 100 % d'utilisation mémoire et 100% d'utilisation CPU.

Je viens donc demander conseil sur mon code et les codecs que j'utilise, voir si il y a des améliorations à faire, savoir quelles outils je pourrais utiliser pour monitorer l'utilisation de logstash ou elesticsearch en terme I/O ou tout autre limitations qu'il pourrait y avoir.

Je sais qu'a terme je vais devoir passer au cluster, si vous avez des docs qui vous ont permis de mieux appréhender cette mise en place ou autre docs qui pourrait être utile à un débutant comme moi.

J'ai également souvent entendu parler de Redis, est-ce que cela pourrait être utile dans mon cas et dans une futur infra en cluster ?

merci pour vos conseils ! voici les infos utiles :

ELK est en version 6.1.1, la config a été faites de base, seule les éléments nécessaires au fonctionnement initial ont été paramétrés.

et voici mon code :

input : https://gist.github.com/Sylvain-69/6a1e82bcff08e422a6761869f55352e1

filters :

01 : https://gist.github.com/Sylvain-69/045a3e13d297c9037239422c578939aa
02 : https://gist.github.com/Sylvain-69/42b7e71b97c3d918f7721d59df942b06
03 : https://gist.github.com/Sylvain-69/340a48980aa5d227d7e8529ce3929f99
04 : https://gist.github.com/Sylvain-69/d8c0d7ac60401105a78090e3307766f7

output : https://gist.github.com/Sylvain-69/719f369644f4ed8b4d0f35170cb5ead9


(David Pilato) #2

Juste pour ne pas laisser la question sans réponse, j'ai aussi apporté quelques éléments sur sa version EN: ELK Limits, config tips, high CPU usage, cluster (newbie)

:slight_smile:


(system) #3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.