Solo me aparecen algunas metricas

[Unamunoqueva]

Buenas, estoy probando metricbeat, tengo los modulos de system y docker añadidos, pero a la hora de consultarlos en kibana, en los de system por ejemplo solo me muestra una parte de la informacion, adjunto foto:

Las configuracion de los modulos tanto de system como de docker son las default, de todas formas adjunto foto:
System

Docker

[eedugon (Eduardo González de la Herrán)]

Hola!

¿Ejecutas metricbeat como root (o vía sudo)?
Si lo ejecutas como un usuario normal puede ser que el usuario no tenga permisos para obtener los datos de algunos módulos del sistema, así que prueba a lanzarlo como root (o usando sudo).

Espero que sea eso Puedes echar un vistazo a esto también:
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-starting.html

Saludos!
Eduardo

[Unamunoqueva]

Lo ejecuto como root así que no debería de haber ningún problema respecto a eso.Voy a mirar el link que me has enviado de mientras a ver si encuentro algo que me ayude. Muchas gracias

[eedugon (Eduardo González de la Herrán)]

Lo estás ejecutando como docker? Si lo lanzas desde un docker podría ser que el docker no tenga visibilidad del resto del sistema.

En caso de que lo lances como docker...
https://www.elastic.co/guide/en/beats/metricbeat/current/running-on-docker.html

Ahí explican los directorios que hay que mapear para que el docker tenga visibilidad.

Saludos!
Edu

[Unamunoqueva]

No, esta en el host, no lo he metido en un contenedor, la cosa es esa... que algunas métricas si se ven y otras no.

[eedugon (Eduardo González de la Herrán)]

Ya, es raro... intenta lanzarlo en modo debug y echa un vistazo a los logs a ver si da algún error.

Supongo que las versiones de metricbeat y kibana están alineadas, así como los dashboards de kibana instalados por metricbeat, verdad?

Otra cosa que puedes hacer es mirar el contenido de los indices de metricbeat en Elasticsearch para ver si te llegan los datos que no ves en Kibana (memoria, uso de CPU, etc.)

Suerte y nos cuentas...

[Unamunoqueva]

Metricbeat en modo debug:

No veo nada raro (ningún error ni nada)
Y en los indices de Elastic

Me imagino que donde pone 0 debería poner otra cosa ¿verdad?

[eedugon (Eduardo González de la Herrán)]

Sí, el campo "pct" debería tener los porcentajes, como en este ejemplo:
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-metricset-system-cpu.html

A ver si a alguien más se le ocurre algo. ¿Qué versión estás utilizando de metricbeat?

Prueba a tocar la configuración de:

cpu.metrics: [percentages, normalized_percentages, ticks]

Prueba normalized_percentages o incluso los 3 valores a ver qué pasa.

Saludos!
Edu

[eedugon (Eduardo González de la Herrán)]

Y otro comentario.... supongo que los modulos que usas estarán habilitados en el directorio modules.d, verdad?

Has ejecutado las verificaciones standard?

./metricbeat test config
./metricbeat test modules  # aquí igual recibes algún reporte de error
./metricbeat test output # esta seguro que está bien

[Unamunoqueva]

Si, los modulos que estoy usando estan habilitados:

Como se ve system.yml esta habilitado ( a parte si hago un metricbeat modules list)

Las verificaciones estandar las acabo de realizar y dan todas Ok,
lo unico que me queda probar es esto:
cpu.metrics: [percentages, normalized_percentages, ticks]
que no se exactamente como añadirlo a mi fichero de configuración puesto que esta escrito de la siguiente manera:

Edito: Ya he conseguido actualizar el fichero del modulo system, y sigue igual sin enviar pct, los ticks si los envia

[eedugon (Eduardo González de la Herrán)]

Buenas,

¿Qué versión de metricbeat estás usando y sobre qué sistema operativo + versión?

Gracias!

[Unamunoqueva]

La version de metricbeat es

La version del sistema operativo es

El stack elk es un contenedor con elk + x-pack la version basic (licencia de un año)

[eedugon (Eduardo González de la Herrán)]

Buenas,

La verdad es que es bastante raro... he hecho pruebas y sí que obtengo las métricas de cpu tanto en linux como en osx (es verdad que en el primer ciclo aparecen todos los pct a cero).

Si tienes unos minutos realiza esta prueba, por favor, para comprobar si metricbeat devuelve ceros constantemente o calcula los porcentajes.

1. Configura el output de metricbeat para sacar las métricas por pantalla solamente (deja comentado el output a elasticsearch):

output.console:
  pretty: true

2. Configura el system.yml para que solo obtenga métricas de CPU

- module: system
  period: 10s
  metricsets:
    - cpu
#    - load
#    - memory
#    - network
#    - process
#    - process_summary
    #- core
    #- diskio
    #- socket
  processes: ['.*']
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory

(nota: deja todo lo demás comentado (system -> uptime y system -> fsstat + filesystem).

3. Ejecuta metricbeat, debería salir por pantalla, cada 10 segundos, un dump de las métricas de CPU. La primera vez puede ser que veas todos los pct a cero, pero posteriormente no debería. Dinos lo que ves. Si sale siempre cero entonces habrá que investigar más

Si resulta que los porcentajes se envían correctamente entonces el problema podría ser el descrito aquí:
https://discuss.elastic.co/t/metricbeat-cpu-visualization-missing/127466/15

Saludos!
PS - aquí te dejo la salida por pantalla de mi prueba. El primer dump son todo ceros, pero el segundo ya no. Lo he ejecutado como root y como usuario normal y he obtenido el mismo resultado.

{
  "@timestamp": "2018-05-31T07:00:01.428Z",
  "@metadata": {
    "beat": "metricbeat",
    "type": "doc",
    "version": "6.2.4"
  },
  "beat": {
    "name": "Eduardos-MacBook-Pro.local",
    "hostname": "Eduardos-MacBook-Pro.local",
    "version": "6.2.4"
  },
  "metricset": {
    "name": "cpu",
    "module": "system",
    "rtt": 193
  },
  "system": {
    "cpu": {
      "system": {
        "pct": 0
      },
      "iowait": {
        "pct": 0
      },
      "steal": {
        "pct": 0
      },
      "user": {
        "pct": 0
      },
      "idle": {
        "pct": 0
      },
      "softirq": {
        "pct": 0
      },
      "cores": 8,
      "irq": {
        "pct": 0
      },
      "nice": {
        "pct": 0
      },
      "total": {
        "pct": 0
      }
    }
  }
}



{
  "@timestamp": "2018-05-31T07:00:11.429Z",
  "@metadata": {
    "beat": "metricbeat",
    "type": "doc",
    "version": "6.2.4"
  },
  "metricset": {
    "name": "cpu",
    "module": "system",
    "rtt": 67
  },
  "system": {
    "cpu": {
      "system": {
        "pct": 0.2011
      },
      "softirq": {
        "pct": 0
      },
      "steal": {
        "pct": 0
      },
      "total": {
        "pct": 0.9482
      },
      "idle": {
        "pct": 7.0518
      },
      "iowait": {
        "pct": 0
      },
      "irq": {
        "pct": 0
      },
      "cores": 8,
      "user": {
        "pct": 0.7472
      },
      "nice": {
        "pct": 0
      }
    }
  },
  "beat": {
    "name": "Eduardos-MacBook-Pro.local",
    "hostname": "Eduardos-MacBook-Pro.local",
    "version": "6.2.4"
  }
}

[Unamunoqueva]

Por fin, muchas gracias por todos estos dias, y perdon por tardar en contestar.

El problema estaba en los visualizers, que estaban configurados con el interval en auto, lo he cambiado a un intervalo de 5 minutos y ya a empezado a funcionar como la seda

Muchisimas gracias otra vez

[eedugon (Eduardo González de la Herrán)]

Genial, gracias por documentar y escribir la solución