Problemas con elk sobre host y filebeat en docker

[Unamunoqueva]

Buenas, llevo unos dias intentando configurar lo que viene a ser elk y filebeat, la instalacion de elk es sencilla y sin problemas, el problema viene a la hora de configurar filebeat, mas que configurar... que mande informacion a elasticsearch.
Cuando instalo filebeat, y configuro la ip, puertos, habilito el modulo de apache2, configuro el modulo de apache2 con su correspondiente configuracion para añadir dashboards, visualizers y demas a kibana. Al iniciarlo e ir a kibana me aparecen datos, pero es como que carga una vez esos datos y luego no refresca ni vuelve a enviar y actualizar los logs.
He probado a parar el servicio de filebeat, borrar el index de kibana, volver a iniciar el servicio de filebeat, y una vez hecho esto ya ni siquiera vuelve a aparecer el index de filebeat.
Conectividad entre el host elk y el contenedor donde se encuentra filebeat hay, llevo unos dias ya con este tema y no se que puede ser, he estado revisando los logs y no detecto ningun error. Si alguien puede ayudarme se lo agradeceria.
Un saludo.

[miguel (El Bubi)]

Hola!
Podrias explicar con mas detalle la arquitectura? No se si lo captamos bien, pero pareceria que tienes Elasticseach + Logstash + Kibana estan todos en una sola maquina? Y despues estas corriendo Apache en un contenedor (docker?) donde has instalado el agente de Filebeat?
Estaria bien si pudieras postear la configuracion del filebeat.yml.
El comando module list muestra todos los modulos existentes y los habilitados. Podrias postear tambien la configuracion del modulo Apache2?
Otro comando interesante es el test module [el nombre del modulo ], para confirma que si te crea eventos.
En la parte de Kibana los dashboards dices que si se crean? Si es asi, en la parte de Elasticsearch, ves los indices de Filebeat creados?
En este webinar hay un ejemplo acerca del modulo de Apache tanto para Metricbeat como Apache2 para Filebeat. Echale un vistazo por si hubieras seguido algun paso diferente!

Saludos

[Unamunoqueva]

Buenas, ayer reinstale absolutamente todo y parece que funciona, ademas elastic+kibana+logstash lo he metido en un contenedor. Apache esta en otro contenedor y Filebeat esta en el mismo contenedor de Apache.
La configuración de Filebeat.yml es la siguiente:

filebeat.prospectors:

• type: log

• /var/log/*.log

filebeat.config.modules:

path: ${path.config}/modules.d/*.yml

reload.enabled: false

setup.template.name: "templateprueba"

setup.template.pattern: "templateprueba-*"

setup.template.fields: "fields.yml"

setup.template.overwrite: true

setup.template.enable: true

setup.template.settings:

index.number_of_shards: 1

setup.kibana:

host: "172.26.0.75:5601"

output.elasticsearch:

Array of hosts to connect to.

hosts: ["172.26.0.75:9200"]

Optional protocol and basic auth credentials.

#protocol: "https"

#username: "username"

#password: "password"

index: "templateprueba-%{+yyyy.MM.dd}"

Y la configuracion del modulo es la siguiente:

• module: apache2

Access logs

access:

enabled: true

Set custom paths for the log files. If left empty,

Filebeat will choose the paths depending on your OS.

var.paths: ["/var/log/apache2/access_log"]

Error logs

error:

enabled: true

Set custom paths for the log files. If left empty,

Filebeat will choose the paths depending on your OS.

var.paths: ["/var/log/apache2/error_log"]

En la parte de kibana si se crean los dashboard al hacer filebeat setup, y en elasticsearch ya no te puedo decir si se crearon o no, porque hice borron y cuenta nueva.

Respecto a lo de webinar, me dice que tengo que registrarme para ver los videos, pero no encuentro donde hacer esto. Si me puedes orientar te lo agradeceria

Y muchas gracias por responder tan rapido =). Un saludo!

[eedugon (Eduardo González de la Herrán)]

Buenas,

El registro para ver el webinar creo que consiste solamente en introducir una dirección de email, no hay que crear una cuenta. Dinos si tienes algún problema o crea otro caso.

Nos alegramos de que te haya funcionado el setup. Recuerda que al haber metido el filebeat dentro del docker con Apache2, ése filebeat sólo tendrá acceso a los ficheros visibles por el propio docker.

Saludos,
Edu