No tengo conexión de logstash a elastisearch

Elastic Stack Logstash
1

Hola a todos tengo un problema no puedo conectar el el logstash a elastisearch aunque me dice el logstash que la configuración esta ok y se inicia perfecto, pero no lo veo reflejado ni en elasticsearch ni en kibana, acá les dejo mi configuración y versiones. Instale el plugin de elasticsearch_java.

input {
file {
path => "/home/rack/table.csv"
start_position => "beginning"
}
}
output {
elasticsearch_java {
action => "index"
network_host => "localhost:9200"
index => "stock"
workers => 1
}
stdout {}
}
Las versiones son elasticsearch 2.3.1, logstash 2.3.1 y kibana 4.5.0
Gracias espero ayuda.

2

Has probado con el plugin elasticsearch en lugar del elasticsearch_java??

3

Este es el resultado con esa salida pero no me muestra nada en el kibana

output {
elasticsearch {
action => "index"
hosts => "localhost:9200"
index => "stock"
workers => 1
}
stdout {}
}

rack@rack-Specified:~/logstash-2.3.1$ bin/logstash -f /home/rack/logstash-2.3.1/logstash.conf
Settings: Default pipeline workers: 2
Pipeline main started

4

Diego, has comprobado si tienes algo en el índice de elasticsearch??

5

Hola pedro, en localhost:9200 me aparece los datos del cluster por defauld pero soy nuevo en esto y no se si se verifica de alguna otra manera.

6

Debes poner al final nombre del índice, así te dará si tiene datos o no (hits).

Algo así:
curl -XGET http://localhost.9200/stock

Pásame lo que te da.

7

Hola pedro esto me tira

{"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"stock","index":"stock"}],"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"stock","index":"stock"},"status":404}rack@rack-Specified:~$

8

Perdón pedro si te molesto mucho, pero me ha ganado todo intento, te consulto como lo indexaria una tabla de exel un archivo .xls en logstash o directamente en elasticsearch, gracias por tus respuestas.

9

A ver empecemos.

Logstash debería leer el fichero (entiendo que es un csv o algo así). Y deberías hacer un filtro con el grok para sacar los distintos campos por columnas. Logstash no indexa, sólo divide el fichero, lo trata y lo envía a Elasticsearch.

Elasticsearch está basado en una base de datos Apache Lucene, y se dedica a indexar y almacenar los datos.

Por lo que veo no está generando el índice en ES, deberías ver el log y comprobar si se ha generado el índice en la ubicación que hayas definido en el elasticsearch.yml.

Ah, deberías poner un índice temporal para poder referenciarlo adecuadamente.

10

Gracias pedro ya tengo por donde empezar ya me quedo mas claro como es el trabajo de los programas. Voy a ver esto que me decís y cuando lo tenga sino no te molesta te consulto si encuentro alguna duda, muchas gracias.

11

Perdón una consulta como se le dice al elasticsearch que mire lo que le esta tirando el logstash?

12

A ver Diego, Tú no dices nada a ES, Logstash accede y escribe. ES escucha en el puerto 9200 continuamente, LS accede a ese puerto y hace una inserción.

En tu fichero de configuración veo que redirijes el resultado por la salida estándar, si le pones stdout { códec => rubydebug} , o bien stdout { códec => json } para que puedas ver la salida por pantalla y puedas observar el resultado.

Por cierto, debes chequear también el fichero .sincedb* asociado a tu fichero csv. LS crea un fichero de ese tipo para saber cuál es el último registro que ha leído. si quieres que vuelva a leer el mismo fichero deberías borrarlo.

13

Perfecto Pedro gracias por tu ayuda voy a ver estas cosas que me marcas.

14

Hola pedro te consulto tendrás un ejemplo sencillo para poder usar Logstash, Elasticsearch y Kibana ya que en Internet son muy viejos y tengo problemas con los comando, Gracias y perdón las molestias

15

Hola pedro perdón las molestias necesito forma sencilla de mostrar el funcionamiento del producto logstash, elasticsearch y kibana.
A eso queremos comprar otros productos de elastic pero no puedo ver como es que funciona el ELK. Gracias