Quelle architecture light mais efficace pour un stash ELK?


(Charles-Henri Boust) #1

Bonjour,

Je réfléchi à déployer en environnement de production un stask ELK + Filebeat sur un parc de serveurs Linux et Windows.

Dans le cadre de mon POC j'ai monté une architecture assez simple comme suit :

Kibana, LS et le node-master ES sont sur 1 VM, une autre VM contient un autre node d'ES.

Les 2 VM que j'utilise aujourd'hui sont minimalistes, 1 CPU et 4G de ram. Chaque JVM d'ES fait au max 2G, et LS prend 500M. Les 2 types de logs que j'indexe sont assez simple, pas de complexité particulière, ni de grosse volumétrie (en 24h les données pèses 23.6MB sachant que c'est une activité fictive avec un script qui génère une activité continue et soutenue).

En cible, avec quelques milliers de datasources potentiellement, sur quelle base partir, grossièrement ?
2 LS pour recevoir les log depuis les "log forwarder", 3 ES "master" (dont un sans données ?), 1 client ES pour Kibana ?

Mutualiser les LS et les ES "node-data" est-il déconseillé ou non ? Un Redis entre les LS qui reçoivent les logs et le cluster ES est-il une nécessité ? Il faut obligatoire un LS entre le Redis et le cluster ES comme le suggère ce schéma :

Merci pour vos suggestions :wink:

CH


(passat) #2

Hey,
Tu installes filebeat sur chaque serveur qui a des logs à envoyer , ils enverront les logs sur deux logstash différents (la gestion de charge sera géré par filebeat et le input des deux logstash) et ensuite les deux logstash envoie à 3 ES .

Voilà à confirmer :wink:


(system) #3