Bonjour,
j'ai des workers qui agrègent des flux d'informations en sortie j'ai un format json par enreg.
L'objectif est d'alimenter un cluster ES.
Actuellement le pipeline est direct mais j'ai 2 problèmes :
je n'ai pas de persistence de données
la montée en charge peut conduire à une perte de données.
Au niveau du worker je pensais envoyer sur un cluster Redis
pour le message queue
pour archiver les données
Faut il mettre en place entre worker et redis un cluster logstash ?
Redis peut-il fonctionner correctement pour les 2 fonctions en parallèle ? car l'objectif est de pouvoir servir de réindexation du cluster ES en cas de besoin.
Faut-il un autre cluster logstash entre Elastic et redis
Salut,
Redis est mieux utilisé comme un cache. Vous ne voulez pas l'utiliser pour la réindexation comme il est pas un magasin persistant.
L'utilisation de Logstash dépendra de votre environnement, mais il semble que ce sera un bon ajustement. Dans ce cas, vous voudrez mettre LS entre redis et votre cluster de ES.
La persistance des données servirait à palier quel soucis ? L'engorgement dans les worker ou à l'entrée de l'ES (doute) ?
Chez nous, on a mit en place un logstash simple qui fait peut de traitement (le moins possible) et pousse dans un redis qui tamponne les données. Le traitement est fait en aval par un logstash de traitement (plusieurs en mode pub/sub), ainsi c'est le redis qui éponge les problèmes de temps de traitement et de redémarrage du logstash aval lors des mises à jour des configurations.
Le redis en mode cluster assurera la solidité et la persistance des données en cas de perte d'un des noeuds.
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant
logo are trademarks of the
Apache Software Foundation
in the United States and/or other countries.