Mensaje de error al indexar datos

Elastic In Your Native Tongue Elastic en Español
1

Buenas, en uno de los nodos clientes estoy recibiendo el mensaje:

[2016-09-08 19:48:29,158][WARN ][transport ] [G-ES-CLIENT-01] Transport response handler not found of id [18558]

En el otro nodo no veo ese errror. Los archivos de configuracion elasticsearch.yml son iguales y utilizo el plugin elasticsearch-py para realizar la conexion

es = Elasticsearch(
    ['esnode1', 'esnode2'],
    # sniff before doing anything
    sniff_on_start=True,
    # refresh nodes after a node fails to respond
    sniff_on_connection_fail=True,
    # and also every 60 seconds
    sniffer_timeout=60
)

:point_up: ese es el modulo Ese el del ejemplo oficial, yo en los nodos itero a partir de un archivo de configuracion que tiene cada unidad y hace las veces de interfaz entre otras unidades de hardware de donde provienen los datos.
Esto comenzo con la actualizacion de la version 2.3 a la 2.4. Si tienen alguna idea que puede ser, actualmente no perjudica el funcionamiento pero me llama la atencion y el no conocer porque sucede me pone un poco nervioso en relacion a alguna falla.
A lo que si afecto el cambio de 2.3 a 2.4 es a el plugin readonlyRest, al que actualice segun indica la pagina en github.

Saludos y sera hasta mañana.

2

Hola Emiliano,

este tipo de errores ocurre habitualmente cuando hay un conflicto de versiones. El primer paso sería confirmar que estás usando la misma versión de Elasticsearch en los dos nodos - entiendo que has actualizado ambos a 2.4. El siguiente paso sería también actualizar el plugin elasticsearch-py, la versión 2.4 es reciente, se publicó el 17-08-2016 (http://elasticsearch-py.readthedocs.io/en/master/Changelog.html ).
Están ambos actualizados?

Un saludo,
Ismael.

3

Excelente, pequeño detalle no me habia detenido a obvservar....
Si bien parecio solucionarse, en realidad comenzo a generar un [ERRNO 32] Broken PIPE haciendo que caigan las conexiones y volvio a aparecer el WARN. Sigo en la busqueda...
Muchas gracias @Ismael_Hasan_Romero

4

Hola Emiliano,

Como esta formado tu ES cluster? Tienes master nodes dedicados + data nodes + client nodes? O Master&Data nodes + client nodes? Como esta organizado el flujo de tus datos? Osea algo asi como:

Data source (que es?)---> ES python client 1 + ES client 2--> ES cluster

Podrias subir el ES log completo tanto del node que actúa como master del cluster, junto con el ES log completo del client node...ambos del periodo donde se produce el warning y los mensajes?

Saludos

5

Los data source son varios, en este momento alrededor de 15 o 20... y por lo que vi el Broken PIPE era generado por un error mio al generar varias instancias que insertaban adtos en el cluster para un mismo indice.
Los logs pesan un par de cientos de megas... De todas formas hay un el WARN en los nodos clientes Transport response handler not found of id [5758760] pero no afecta el funcionamiento del cluster.
En los nodos MASTER no hay alarmas, solo uno de los nodos de datos que esta abajo por decision mia, pero el WARN existia desde antes, el mensaje que se repite en ellos es

[2016-09-14 11:29:53,674][DEBUG][cluster.service          ] [G-ES-MASTER-02] cluster state updated, version [1072], source [zen-disco-receive(from master [{G-ES-MASTER-01}{Msn9QMqVT7eR6fLX45DLHw}{10.0.100.26}{10.0.100.26:9300}{data=false, master=true}])]
    [2016-09-14 11:29:53,674][DEBUG][cluster.service          ] [G-ES-MASTER-02] set local cluster state to version 1072
    [2016-09-14 11:29:53,787][DEBUG][cluster.service          ] [G-ES-MASTER-02] processing [zen-disco-receive(from master [{G-ES-MASTER-01}{Msn9QMqVT7eR6fLX45DLHw}{10.0.100.26}{10.0.100.26:9300}{data=false, master=true}])]: took 120ms done applying updated cluster_state (version: 1072, uuid: RvVRfaOZSd2tJnVlrPUKGg)

Las versiones de ES son las mismas 2.4, al igual que de elasticsearch-py.
La estructura:

Fuente de datos(25) -> clientes para convertir e indexar datos(25) -> es-client (2) -> es-master(2) -> es-data(3)

Cada fuente de datos tiene un cliente que convierte el formato de la fuente y lo transforma para enviarlo. La indexacion de los datos se esta haciendo sin ningun problema y se genera un nuevo indice con los registros cada dia, y se van cerrando los indices de los dias anteriores. Hoy me estoy manejando con 25 indices abiertos y cerca de 3000 cerrados.

Justo ahora me tuve que poner con otra cosa (y como no afecta el funcionamiento...) , por lo que no pude dedicarle tiempo, espero mañana poder retomarlo.

Gracias por la ayuda!