J'ai plusieurs problèmes de performance,
j'ai un serveur physique 2 cpu , 4 coeur par cpu et 4 thread (pour les tests) , pour l'instant j'ai mis logstash, ES, kibana et nginx sur le même serveur pour des test mais à terme qu'esqu'est une infra idéal ?
Je vais faire des recherches (des indéxations), il y aura des fichiers d'une taille de 1 à 15 g que je vais devoir traiter du début jusqu'a la fin en input start position beginning, je vais ensuite devoir être en écoute sur du syslog et sur du netflow sur envirion 200 équipements.
cas que j'ai rencontré
Si par exemple on a 100 routeurs qui envoient du netflow sur un
logstash, il y a donc un point de convergence et potentiellement un
point de rupture (ce que j'appel vulgèrement DOS ou DDOS ) ? ... Il existe
un principe de noeud sur elacticsearch mais malheuresement pas pour
logstash sauf erreur de ma part, j'ai également pu constater que si par
exemple je donne un fichier d'une taille de 5 G par exemple en lecture
beginning en input, la charge CPU du logstash monte a 800% (sur un
serveur 2 cpu 4 coeur 4 thread) alors que malgrés le UP du
xmx 2g> 32g. Vous avez constaté ce problème si oui pouvez vous me donner une
info, éventuellement m'aider.
Il y a donc un second point de convergence entre le logstash et l'elasticsearch....
solution plusieurs noeuds, une persistance des données et notion de queue mais je ne suis pas très a l'aise a ce sujet.