Resetear un cluster - todos los nodos como nuevos

[grillo (Pablo Repollés)]

Hola a todos,

Hace unos pocos años que estoy trabajando con esta solución ELK y no consigo reiniciar todos los nodos de un cluster para… empezar de cero con un nuevo cluster

1º - Eliminar todos los datos almacenados

Si que consigo eliminar índices …

(desde línea de comandos)

curl -X DELETE "nodo:puerto/indice_name"

por ejemplo un borrado completo

curl -X DELETE "192.168.0.210:9200/*"

2º - Configurar un nuevo cluster - limpio

Mi nuevo cluster

Nodo: prso-home-1(192.168.72.4)

cluster.name: PRSO_2021

node.name: prso-home-1

node.ingest: true

node.data: true

node.master: true

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 192.168.72.4

discovery.seed_hosts: ["192.168.72.4", "192.168.72.5", "192.168.72.10","192.168.72.20"]

cluster.initial_master_nodes: ["prso-elk-viten-1","prso-home-1","prso-elk-dm-1"]

Nodo: prso-elk-dm-1 (192.168.72.10)

cluster.name: PRSO_2021

node.name: prso-elk-dm-1

node.ingest: true

node.data: true

node.master: true

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 192.168.72.10

discovery.seed_hosts: ["192.168.72.10", "192.168.72.4", "192.168.72.5","192.168.72.20"]

cluster.initial_master_nodes: ["prso-elk-viten-1","prso-home-1","prso-elk-dm-1"]

Nodo: prso-elk-viten-1 (192.168.72.20)

cluster.name: PRSO_2021

node.name: prso-elk-viten-1

node.ingest: true

node.data: true

node.master: true

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 192.168.72.20

discovery.seed_hosts: ["192.168.72.20", "192.168.72.4", "192.168.72.5","192.168.72.10"]

cluster.initial_master_nodes: ["prso-elk-viten-1","prso-home-1","prso-elk-dm-1"]

El nodo 192.168.72.5 todavía no lo he encendido

Errores – recibidos:

Nodo prso-home-1

[2021-02-10T07:47:43,900][WARN ][o.e.c.c.Coordinator ] [prso-home-1] failed to validate incoming join request from node [{prso-elk-viten-1}{ZPUhwBeiRM65AllVbmAnPA}{deSn9qdBRO-MxBuwWIOqNA}{192.168.72.20}{192.168.72.20:9300}{cdhilmrstw}{ml.machine_memory=8589934592, ml.max_open_jobs=20, xpack.installed=true, transform.node=true}]

org.elasticsearch.transport.RemoteTransportException: [prso-elk-viten-1][192.168.72.20:9300][internal:cluster/coordination/join/validate]

Nodo prso-elk-viten-1

Caused by: org.elasticsearch.transport.RemoteTransportException: [prso-elk-viten-1][192.168.72.20:9300][internal:cluster/coordination/join/validate]

Caused by: org.elasticsearch.cluster.coordination.CoordinationStateRejectedException: join validation on cluster state with a different cluster uuid 1epEQFGfRgqPhi7Z1qfQ1Q than local cluster uuid nx6DeRiiTXS1zwX3gf6BvQ, rejecting

Nodo prso-elk-dm-1

[2021-02-10T00:40:59,182][INFO ][o.e.c.s.ClusterApplierService] [prso-elk-dm-1] master node changed {previous [{prso-home-1}{X-qTdaIoSuKqud-1AIayZQ}{BKUNpp47SaW82wXMMgmgyw}{192.168.72.4}{192.168.72.4:9300}{cdhilmrstw}{ml.machine_memory=7516192768, ml.max_open_jobs=20, xpack.installed=true, transform.node=true}], current }, term: 475, version: 191, reason: becoming candidate: onLeaderFailure

Objetivo – resetear los nodos para inicializar un nuevo cluster – limpio y con nuevos roles

Algún consejo antes de desinstalar elasticsearch – eliminar todos los ficheros – reinstalar elasticsearch… a ver que pasa.

Muchas gracias

Pablo

[Imma (Imma Valls)]

Hola Pablo,

En principio todos los datos del cluster están en path.data: /var/lib/elasticsearch. Si quieres empezar de cero, borrar el contenido de path.data te debería permitir reiniciar un nuevo cluster, con los roles de nodos actualizados. Al no encontrar datos (cluster state y datos/indices), el cluster se formará de nuevo.

Aunque no es imprescindible borrar los datos para cambiar roles, entiendo que esto es lo que quieres por el mensaje.

Un saludo!

[grillo (Pablo Repollés)]

Hola Imma,

Un poco radical - pero 100% efectivo - exactamente buscaba eso - gracias ;)