Buenas, llevo unos dias intentando configurar lo que viene a ser elk y filebeat, la instalacion de elk es sencilla y sin problemas, el problema viene a la hora de configurar filebeat, mas que configurar... que mande informacion a elasticsearch.
Cuando instalo filebeat, y configuro la ip, puertos, habilito el modulo de apache2, configuro el modulo de apache2 con su correspondiente configuracion para añadir dashboards, visualizers y demas a kibana. Al iniciarlo e ir a kibana me aparecen datos, pero es como que carga una vez esos datos y luego no refresca ni vuelve a enviar y actualizar los logs.
He probado a parar el servicio de filebeat, borrar el index de kibana, volver a iniciar el servicio de filebeat, y una vez hecho esto ya ni siquiera vuelve a aparecer el index de filebeat.
Conectividad entre el host elk y el contenedor donde se encuentra filebeat hay, llevo unos dias ya con este tema y no se que puede ser, he estado revisando los logs y no detecto ningun error. Si alguien puede ayudarme se lo agradeceria.
Un saludo.
Hola!
Podrias explicar con mas detalle la arquitectura? No se si lo captamos bien, pero pareceria que tienes Elasticseach + Logstash + Kibana estan todos en una sola maquina? Y despues estas corriendo Apache en un contenedor (docker?) donde has instalado el agente de Filebeat?
Estaria bien si pudieras postear la configuracion del filebeat.yml.
El comando module list muestra todos los modulos existentes y los habilitados. Podrias postear tambien la configuracion del modulo Apache2?
Otro comando interesante es el test module [el nombre del modulo ], para confirma que si te crea eventos.
En la parte de Kibana los dashboards dices que si se crean? Si es asi, en la parte de Elasticsearch, ves los indices de Filebeat creados?
En este webinar hay un ejemplo acerca del modulo de Apache tanto para Metricbeat como Apache2 para Filebeat. Echale un vistazo por si hubieras seguido algun paso diferente!
Saludos
Buenas, ayer reinstale absolutamente todo y parece que funciona, ademas elastic+kibana+logstash lo he metido en un contenedor. Apache esta en otro contenedor y Filebeat esta en el mismo contenedor de Apache.
La configuración de Filebeat.yml es la siguiente:
filebeat.prospectors:
-
type: log
-
/var/log/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.name: "templateprueba"
setup.template.pattern: "templateprueba-*"
setup.template.fields: "fields.yml"
setup.template.overwrite: true
setup.template.enable: true
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
host: "172.26.0.75:5601"
output.elasticsearch:
Array of hosts to connect to.
hosts: ["172.26.0.75:9200"]
Optional protocol and basic auth credentials.
#protocol: "https"
#username: "username"
#password: "password"
index: "templateprueba-%{+yyyy.MM.dd}"
Y la configuracion del modulo es la siguiente:
- module: apache2
Access logs
access:
enabled: true
Set custom paths for the log files. If left empty,
Filebeat will choose the paths depending on your OS.
var.paths: ["/var/log/apache2/access_log"]
Error logs
error:
enabled: true
Set custom paths for the log files. If left empty,
Filebeat will choose the paths depending on your OS.
var.paths: ["/var/log/apache2/error_log"]
En la parte de kibana si se crean los dashboard al hacer filebeat setup, y en elasticsearch ya no te puedo decir si se crearon o no, porque hice borron y cuenta nueva.
Respecto a lo de webinar, me dice que tengo que registrarme para ver los videos, pero no encuentro donde hacer esto. Si me puedes orientar te lo agradeceria
Y muchas gracias por responder tan rapido =). Un saludo!
Buenas,
El registro para ver el webinar creo que consiste solamente en introducir una dirección de email, no hay que crear una cuenta. Dinos si tienes algún problema o crea otro caso.
Nos alegramos de que te haya funcionado el setup. Recuerda que al haber metido el filebeat dentro del docker con Apache2, ése filebeat sólo tendrá acceso a los ficheros visibles por el propio docker.
Saludos,
Edu
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.