Demande conseils ElasticSearch


(Samir) #1

Bonjour à tous,

Je suis actuellement chargé de monter la suite ELK qui serait en charge de traiter un nombre élevé de giga de log en temps réel.
Pour cela j'ai à ma disposition 4 serveurs virtuels sur 2 sites différents. (ville différentes).
Pour ma part je compte installer pour le 1er site :
VM1 : ElasticSearch (noeud 1) + Kibana
VM2 : Logstash principale

Et pour le 2ème site :
VM3 : ElasticSearch (noeud 2) + Kibana
VM4 : Logstash secondaire (si la VM2 lache).

Je voulais donc avoir vos conseils si cela est une bonne idée ou si vous feriez autrement.

Merci !!


(David Pilato) #2

Elasticsearch ne supporte pas un cluster distribué sur plusieurs sites distants avec une latence forte.

Donc je déconseille cette architecture.


(Samir) #3

D'accord si je fait donc les 2 noeuds ElasticSearch sur un site et les 2 machines logstash sur le 2ème site ça semble une être une meilleur architecture ?


(David Pilato) #5

Oui c'est mieux.

Note qu'il te faut ajouter un 3eme noeud master éligible pour éviter le split brain.


(Samir) #6

D'accord.
Au pire des cas je peux mettre une des deux machines logstash en tant que noeud master mais sans stockage de données juste pour qu'elle fasse la balance avec les 2 autres noeuds. Ce serai bien si je n'ai pas accès à un nouveau VM ?


(David Pilato) #7

Oui. Sans pb.


(Samir) #8

D'accord Merci ! Y'aura t'il d'autres conseils à m'apporter pour mieux faire tourner l'architecture ? ou des choses qui pourront être source de problèmes sur le long terme ?


(Samir) #9

Vous me conseillez de mettre sur les 3 noeuds : 1 maitre et 2 esclaves ou les 3 maitres ?
Car si je met qu'un seul noeud maitre s'il tombe en panne mon cluster ne tournera plus. Mais si je l'ai met les 3 maitres ca ne risque rien ?


(David Pilato) #10

3 noeuds avec

master: true

(system) #11

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.