Comment faire des metrics en 2.3.1 et quel outils, metricbeat compatible?

Corben_Dallas · October 21, 2020, 2:19pm

bonjour

je cherche comment activer les metrics en elasticsearch 2.3.1 (opensource) et quel outils je dois utiliser, j'ai du mal a trouver les info, car je suis rediriger souvent vers la dernière version d'elastic.

en 7.9.2 c'est facile j'ai installé metricbeat et je peux surveiller le cluster, les noeuds, les indices
lors des benchs. y a tout. dans elasticsearch, j'ai activé xpack.monitoring.collection.enabled : true

Le hic, metricbeat semble ne supporter que les versions elasticseach depuis la 5.x ?

Si avez une 2.3.x vous utilisez quoi pour faire les metrics ? collecteur et visu ? kibana/grafana et comment configurer elasticsearch.yml (xpack ?)

Merci beaucoup pour vos liens et vos infos

cdt
jp

ahmed_charafouddine · October 21, 2020, 3:31pm

Oui. et ce, pour tout les beats (metricbeat, filebeat, etc)

J'allais upgrader pour une version plus recente (beaucoup de fonctionnalité/ stabilité /etc etc).
Dans le cas ou je ne pourrais utiliser que la 2.3.X, vous pouvez bricoler des scripts "maison" pour alimenter l'ES.

je pense pas non plus qu'il ait une version de x-pack avec cette version 2.3.x

Corben_Dallas · October 21, 2020, 4:47pm

Merci pour votre réponse, en attendant, j'ai trouvé ce lien avec un github,

github.com

athieriot/docker-elastic-metricbeat/blob/master/metricbeat.yml

########################## Metricbeat Configuration ###########################

# This file is a full configuration example documenting all non-deprecated
# options in comments. For a shorter configuration example, that contains only
# the most common options, please see metricbeat.yml in the same directory.
#
# You can find the full configuration reference here:
# https://www.elastic.co/guide/en/beats/metricbeat/index.html

#============================  Config Reloading ===============================

# Config reloading allows to dynamically load modules. Each file which is
# monitored must contain one or multiple modules as a list.
metricbeat.config.modules:

  # Glob pattern for configuration reloading
  path: ${path.config}/conf.d/*.yml

  # Period on which files under path should be checked for chagnes
  reload.period: 10s

This file has been truncated. show original

il utilise un template metricbeat pour els 2.x
et un kibana 4.5, je devrais en faire quelque chose au niveau dashboard,
mais ca rend moins bien qu'en 7.9.2

Corben_Dallas · October 21, 2020, 6:26pm

j'ai trouvé en core plus simple

pour les vieilles versions 2.x, il faut utiliser le marvel-agent plugin qu'on install pour elasticsearch et kibana

sudo /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

elasticsearch.yml
marvel.enabled: true
marvel.agent.exporters:
my_monitoring:
type : http
host : [ "http://columbia:9200" ]

sudo /usr/share/elasticsearch/bin/plugin install license

sudo /usr/share/elasticsearch/bin/plugin install marvel-agent

kibana plugin --install elasticsearch/marvel/2.3.1

restart elastic
restart kibana

localhost:5601/app/marvel

ca ressemble énormément a metricbeat

après c'est tout beau, ca me suffit, je suis tout content.

dadoonet · October 21, 2020, 6:33pm

Pour quelle raison tu ne peux pas utiliser une stack récente ? Il y a tellement de fonctionnalités, corrections de bugs, patch's de sécurité depuis ces dernières années.

Corben_Dallas · October 21, 2020, 6:49pm

c'est une histoire de contexte de production très sensible, en clair, on ne touche pas a la prod, sinon les clients vous bouffe tout cru, on ne fait pas ce qu'on veut. sinon gare à la pénalité financière si il y a une interruption de service ou de gros plantage.

j'ai l'occasion de faire migrer 4 elasticsearch 2.3.1 standalone (le mode cluster ne marchait pas très bien à l'époque) vers un 7.x cluster via nos fils kafka, c'est pas évident du tout vu le saut de version . je suis en train de monter les plateformes de bench et de test de migration. c'est un projet intéressant, mais il va être long. les deux versions vont se cotoyer jusqu'à la fin de la migration des collections. après ca sera plus facile de faire les upgrades.

dadoonet · October 21, 2020, 7:35pm

Bonne chance

system · November 18, 2020, 7:35pm

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.