Kibana4.1 tarda mucho en devolver las búsquedas


(Ignacio Perez Martin) #1

Hola,

Me acabo de unir y quería dar las gracias por crear esta Categoría en Castellano.

Actualmente, tengo un Cluster de ES (Versión 1.4.2) de 4 Nodos, 3 de ellos son "data_nodes" y el cuarto nodo no almacena información y este último nodo tiene el kibana 4.1.

Cada nodo tiene 12Gb de Ram (7Gb para ES y 1,5Gb para logstash), aunque el Nodo que tiene el Kibana no tiene Logstash.

Últimamente me está tardando mucho en devolverme la información y a veces no es capaz de hacerlo.

¿Que puedo hacer? ¿Que información os facilito para que me podàis ayudar?

Un Saludo y gracias por adelantado.
Nacho Pérez


(Gabriel Moskovicz) #2

Hola Nacho!

Tenes corriendo Kibana en el mismo server que Elasticsearch? Has intentado instalar Marvel para monitorear tu cluster y ver si el problema esta en Kibana o en Elasticsearch?

Que cantidad de datos/documentos tienes en elasticsearch? Ya que utilizar Logstash, estimo que estas utilizando logs y buscando en ellos?

Fijate si no te estas quedando sin RAM en el servidor que tienes instalado Kibana, Fijate tambien si estas teniendo timeouts por estar buscando en muchos dataset.

Por otro lado, si tienes logs de hace muchos meses, tal vez sea buena practica poder borrarlos utilizando Curator. Seguramente puedas borrar muchos datos y nada mas quedarte con los logs de los últimos meses/dias o cuanto te convenga.

Saludos.

Gabriel
@gmoskovicz


(Ignacio Perez Martin) #3

Gracias por tu respuesta !!

Te Explico un poco más el escenario

Nodo1 (ES + Logstash) <-- Recibe Logs de -+ 68 Servidores Linux (secure/audit/messages)
Nodo2 (ES + Logstash) <-- Recibe Logs de -+ 90 Servidores Linux (secure/audit/messages)
Node3 (ES + Logstash) <-- Recibe Logs de 12 Servidores VMWARE ESX 5.5
Nodo4 (ES + Kibana4.1.0) <-- No recibe LOGS de nadie. Solo para que Kibana pueda consultar en el Cluster

La memoria que usa el Nodo4 es muy poca:
Private + Shared = RAM used Program

132.0 KiB + 35.5 KiB = 167.5 KiB acpid
164.0 KiB + 13.0 KiB = 177.0 KiB mcelog
148.0 KiB + 60.0 KiB = 208.0 KiB rhsmcertd
204.0 KiB + 35.0 KiB = 239.0 KiB atd
260.0 KiB + 32.5 KiB = 292.5 KiB irqbalance
216.0 KiB + 128.0 KiB = 344.0 KiB abrtd
272.0 KiB + 80.5 KiB = 352.5 KiB abrt-dump-oops
340.0 KiB + 38.5 KiB = 378.5 KiB auditd
320.0 KiB + 73.5 KiB = 393.5 KiB rpcbind
416.0 KiB + 135.0 KiB = 551.0 KiB mingetty (6)
468.0 KiB + 142.0 KiB = 610.0 KiB nrpe
520.0 KiB + 105.0 KiB = 625.0 KiB rpc.statd
472.0 KiB + 203.5 KiB = 675.5 KiB su
584.0 KiB + 102.5 KiB = 686.5 KiB init
660.0 KiB + 59.0 KiB = 719.0 KiB crond
508.0 KiB + 299.0 KiB = 807.0 KiB sssd_ssh
512.0 KiB + 297.0 KiB = 809.0 KiB sssd_sudo
744.0 KiB + 67.5 KiB = 811.5 KiB dbus-daemon
652.0 KiB + 252.0 KiB = 904.0 KiB sssd
588.0 KiB + 341.5 KiB = 929.5 KiB sssd_pam
868.0 KiB + 174.0 KiB = 1.0 MiB ntpd
1.2 MiB + 56.5 KiB = 1.2 MiB rsyslogd
1.1 MiB + 382.5 KiB = 1.4 MiB sudo
1.1 MiB + 745.0 KiB = 1.8 MiB bash (2)
1.9 MiB + 167.0 KiB = 2.0 MiB automount
2.7 MiB + 442.0 KiB = 3.1 MiB vmtoolsd
1.7 MiB + 1.8 MiB = 3.6 MiB sshd (3)
4.0 MiB + 603.5 KiB = 4.6 MiB udevd (3)
5.3 MiB + 597.5 KiB = 5.9 MiB sssd_be
12.2 MiB + 507.5 KiB = 12.7 MiB sssd_nss
62.8 MiB + 230.5 KiB = 63.0 MiB node
328.3 MiB + 392.5 KiB = 328.7 MiB java
---------------------------------
439.5 MiB
=================================

             *total       used       free     shared    buffers     cached*

Mem: 11905 1055 10850 0 136 290
-/+ buffers/cache: 628 11277
Swap: 2047 0 2047

Mi sensación es que tengo el problema en el cluster, hay mucha información que procesar e igual necesito subir la memoria RAM de cada nodo del Cluster.

No tengo Marvel , pero entiendo que es de pago , no ?

El Cluster está en estado GREEN:

{
"cluster_name" : "ELKCLU1",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 4,
"number_of_data_nodes" : 3,
"active_primary_shards" : 156,
"active_shards" : 312,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0
}

Si entro en kibana en la parte de Discover (*) me pone que ha realizado 106.445hits en 15 minutos. Entiendo que son las entradas recibidas en esos 15 minutos, a veces me da la información rápido, otras veces tarda ... otra me da error .... etc , vamos que es una lotería.

¿Como puedo ver lo que comentas? "Fijate tambien si estas teniendo timeouts por estar buscando en muchos dataset"

Tengo instalado curator en todos los Nodos, solo deja 1 Mes de logs y solo se ejecuta en el Nodo Master del cluster.

Gracias por la ayuda


(Gabriel Moskovicz) #4

Hola Nacho!

Podrias utilizar Chrome e inspeccionar la llamada que realiza Kibana. Luego, ejecutar esa misma llamada directo hacia elasticsearch y ver si eso esta matando a la performance de elasticsearch.

Marvel es pago, pero hay un development trial. Es una herramienta muy util, mas que nada para monitorear tu cluster.

Saludos,


(Ignacio Perez Martin) #5

Hola Gabriel,

Gracias por tus consejos, intentaré poner Marvel e igual intento crear otro Cluster solo para los logs de VMWARE, dado que bajo mi impresión son los logs que más trafico generan y por tanto los que igual están sobrecargando las búsquedas en ES.

Te cuento mis avances!!

Un Saludo
Nacho


(Gabriel Moskovicz) #6

un gusto!

Cualquier cosa a las ordenes.

Saludos!


(Ignacio Perez Martin) #7

Gracias por tu ayuda,

Igual aprovecho e instalo ES 1.7 y Logstash 1.5.2 :wink:

Te informo !!!

Slds
Nacho


(system) #8