Buenas tardes, me presento, soy Raúl Rivas y tengo que armar un cluster ELK que manejara aproximadamente 1TB diario de información. Me podrian ayudar con el dimensionamiento y recomendaciones para los nodos de elastic?
Muchas gracias!!
Saludos.
Hola @raulrivas85!
Muchas gracias por proponer este topico. Te dejo algunos comentarios:
- No es sencillo dar dimensionamiento y recomnedaciones sin entender mejor el caso de uso.
- 1TB diario no es la pregunta, sino cantidad de documentos, y cual va ser el rate de indexacion (documentos por segundos, y cantidad en disco por hora por ejemplo).
- Cuantas replicas necesitas?
- Donde va a estar situado el cluster?
Incluso, con todo esto no es sencillo dar una explicacion concisa en lo que necesitarias. Lleva trabajo en conjunto poder hacer esto de forma profesional. Si estarias interesado en poder trabajar con nosotros podrias llenar tus datos en la siguiente website: https://www.elastic.co/services.
Como te digo, me encantaria darte una solucion precisa, pero la pregunta que estas haciendo es la pregunta del millon de dolares 
.
Pero bueno espero que esas preguntas hayan ayudado a entender un poco mejor que preguntas necesitas contestarte primero.
Saludos!
--Gabriel
Hola, gracias por la pronta respuesta .... te comento, son aproximadamente 1millon de documentos por segundo los que necesito indexar. Estaba pensando en armar un cluster virtualizado en ESX Vmware.
por otra parte aun no entiendo bien los tipos de nodo que tiene Elastic para armar un cluster, por ejemplo, si tengo 4 nodos de datos, se crean cuatro indices distintos, uno en cada nodo?
Hola @raulrivas85,
Generalmente se recomienda tener indices por dia/mes/año. En tu caso, 1TB por dia seguramente estes necesitando algo asi como indice por dia o cada 12 horas.
Por defecto, un indice se va a crear con 5 shards y 1 replica (quiere decir un total de 10 shards, 1 replica por cada primario). El indice como tal es solo una separacion logica, lo que realmente existe en el disco van a ser los shards del indice. Estos shards van a ser aleatoriamente distribuidos en los nodos. Si tienes 1TB de datos diarios, estima que tendras 2TB de datos diarios (primario y copia).
Ten en cuenta que si quieres guardar un mes entero, estarias hablando de 60TB, y los nodos entre todos ellos tienen que tener la capacidad para almacenar todo esto.
Altamente recomiendo que comiences desde el principio en cuando a la documentacion: https://www.elastic.co/guide/en/elasticsearch/reference/5.1/_basic_concepts.html. Hay muchos aspectos por entender para hacer esto.
Gracias y saludos!
--Gabriel
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.