# Node processors

**URL:** <https://discuss.elastic.co/t/node-processors/273803>\
**Category:** Elastic en Español\
**Created:** [May 24, 2021, 9:20am UTC](https://discuss.elastic.co/t/node-processors/273803 "2021-05-24T09:20:55Z")\
**Posts on this page:** 11\
**Page:** 1

<div class="post-metadata">

**Author:** ![Cristian1988](https://avatars.discourse-cdn.com/v4/letter/c/53a042/32.png) [@Cristian1988](https://discuss.elastic.co/u/Cristian1988)\
**Post date:** [May 24, 2021, 9:20am UTC](https://discuss.elastic.co/t/node-processors/273803/1 "2021-05-24T09:20:55Z")

</div>

Estoy teniendo algunos rechazos a la hora de lanzar un bulk contra un elàstic y se producen con más frecuencia desde que subimos de versión de una versión 6 a una 7, revisando settings y mappings de todo el clúster, de una versión anterior a la nueva, vemos que el processors en la versión 6 tiene un valor de 16, mientras que en la versión 7 tiene un valor de 1.

La query que he lanzado en ambos clusters antiguo y nuevo es: \_cluster/settings?include\_defaults

`"processors" : "16",`Old setting cluster default  
`"processors" : "1",` New setting cluster default

Alguien sabe como poder cambiar este valor, si este valor se puede cambiar en caliente o si es un valor que se ha de cambiar al arrancar el elàstic?

---

<div class="post-metadata">

**Author:** ![Janko](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/janko/32/26896_2.png) [@Janko](https://discuss.elastic.co/u/Janko)\
**Post date:** [May 24, 2021, 11:32am UTC](https://discuss.elastic.co/t/node-processors/273803/2 "2021-05-24T11:32:25Z")

</div>

Bienvenido Cristian!

Parece que Elasticsearch no detecta el número de CPUs bien en el nuevo cluster.  
Todos los thread pools se basan en esto, entonces tienes razón en mirar este punto.

De hecho mejor que solo cambiar el parámetro deberías investigar porque no se detecta más de un core en el nuevo cluster.

Para cambiar el parámetro hace falta editar `elasticsearch.yml` con `node.processors` puesto al número de cores disponibles ([Thread pools | Elasticsearch Guide [7.x] | Elastic](https://www.elastic.co/guide/en/elasticsearch/reference/7.x/modules-threadpool.html#node.processors)).

---

<div class="post-metadata">

**Author:** ![Cristian1988](https://avatars.discourse-cdn.com/v4/letter/c/53a042/32.png) [@Cristian1988](https://discuss.elastic.co/u/Cristian1988)\
**Post date:** [May 24, 2021, 2:37pm UTC](https://discuss.elastic.co/t/node-processors/273803/3 "2021-05-24T14:37:14Z")

</div>

Muchas gracias por responder, pues tengo que revisar porqué no acaba de coger el número de CPUs disponibles.

Aquí el tema és que corremos el clúster de elastic a través de kubernetes, y este clúster dispone de varios nodos con diferentes roles y exactamente no sé en donde indicar este valor para processors.

Seguiré revisando para ver cómo lo puedo modificar.

Gracias

---

<div class="post-metadata">

**Author:** ![Janko](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/janko/32/26896_2.png) [@Janko](https://discuss.elastic.co/u/Janko)\
**Post date:** [May 24, 2021, 3:20pm UTC](https://discuss.elastic.co/t/node-processors/273803/4 "2021-05-24T15:20:20Z")

</div>

Ah mira, pensaba que puede ser esto cuando vi algunos threads aqui.

A ver si pueden ser util: [Question about threadpools](https://discuss.elastic.co/t/question-about-threadpools/268888) y [Elasticsearch processor environment variable](https://discuss.elastic.co/t/elasticsearch-processor-environment-variable/269089)

Parece que por lo menos uno utiliza Elastic Cloud on Kuberetes (ECK - [Elastic Cloud on Kubernetes [1.5] | Elastic](https://www.elastic.co/guide/en/cloud-on-k8s/current/index.html)) pero al final deberia ser la misma cosa en otros entornos de Kubernetes.

Suerte y si no lo consigues facilmente dejanos unos detalles para seguir mirandolo.

---

<div class="post-metadata">

**Author:** ![nyquillus](https://avatars.discourse-cdn.com/v4/letter/n/c77e96/32.png) [@nyquillus](https://discuss.elastic.co/u/nyquillus)\
**Post date:** [May 27, 2021, 10:54am UTC](https://discuss.elastic.co/t/node-processors/273803/5 "2021-05-27T10:54:40Z")

</div>

Hi,

I'm sorry to post in english here but i don't know spanish. I saw that Janko mentioned my posts so i wanted to share something here. We're managing a cluster on kubernetes as well, i also have a small elastic stack on kubernetes for testing purposes. I have tried this and processor count changed accordingly, but since it is a small cluster i couldnt do any proper testing on it with continuous data flow.

Here's the snippet added on stack yaml file under elasticsearch:

```
# resources:
# requests:
# memory: 768Mi
# cpu: 2
# limits:
# memory: 1Gi
# cpu: 4

```

after adding these to the stack yaml i could see the number that is set above next to the processor count in elasticsearch(kibana dev tools to be exact). If you can test that out and give feedback it will be much appreciated.

---

<div class="post-metadata">

**Author:** ![Cristian1988](https://avatars.discourse-cdn.com/v4/letter/c/53a042/32.png) [@Cristian1988](https://discuss.elastic.co/u/Cristian1988)\
**Post date:** [May 29, 2021, 5:29pm UTC](https://discuss.elastic.co/t/node-processors/273803/6 "2021-05-29T17:29:14Z")

</div>

Hola nyquillus

Sí, al final es como tenemos configurado en los yamls, y ya se detectan correctamente el número de procesadores.

```
"processors": "6",

```

El clúster que tenemos montado tiene los siguientes roles y nodos.

15 nodos de todo el clúster.

3 nodos máster  
3 nodos con rol cliente  
9 nodos de datos

Las peticiones entrantes del cliente llegan a través de los nodos cliente. Por algún motivo el número de procesadores del clúster se basa en el número de procesadores establecidos en el yml de los nodos cliente.

Por otra parte.

Una vez que el clúster ha detectado correctamente el número de procesadores, el thread\_pool ha cambiado como era de esperar, sin embargo para el write el tamaño de la cola queue\_size coloca automáticamente un valor de 200, ¿se puede ampliar este tamaño de la cola a 10000 como en las últimas versiones de elastic?

Versión de elastic que utilizamos v7.6.2:

```
    "write": {
    "queue_size": "200",
    "size": "6"

```

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/4/c/4c7e2135a9df3b09402ad7c68ae66af27c76040b.png)

Hemos visto que en las versiones 7.10.1 el tamaño de esta cola por defecto es de 10000

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1a71cd3defadefe8af5dcec5e5630415cda9546b.png)

La pregunta es, ¿Podemos subir el tamaño de la cola de 200 (por defecto) a 10000 en nuestra versión 7.6.2 como en las últimas versiones de elastic? Sí es que sí, necesitaríamos ajustar algún parámetro adicional?

Muchas gracias

---

<div class="post-metadata">

**Author:** ![nyquillus](https://avatars.discourse-cdn.com/v4/letter/n/c77e96/32.png) [@nyquillus](https://discuss.elastic.co/u/nyquillus)\
**Post date:** [June 2, 2021, 6:28am UTC](https://discuss.elastic.co/t/node-processors/273803/7 "2021-06-02T06:28:29Z")

</div>

Hi Cristian,

I'm not sure about previous versions but I'm using 7.7.0 version. And in 7.7.0 you can add something like this under the elasticsearch environment:

`thread_pool.write.queue_size=<value>`

As far as I know, 200 is the default value for write queue size. At least it is the default value for my cluster. Some thread pools can be configured and some have absolute values.

You can also change the size of specific thread pools by adding something like below to the elasticsearch environments again:

`thread_pool.write.size=<value>`

But as i said before, I'm not entirely sure about version 7.6. But it seems to work in 7.7.0.

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [June 30, 2021, 6:29am UTC](https://discuss.elastic.co/t/node-processors/273803/8 "2021-06-30T06:29:15Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.

---

<div class="post-metadata">

**Author:** ![Janko](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/janko/32/26896_2.png) [@Janko](https://discuss.elastic.co/u/Janko)\
**Post date:** [July 17, 2021, 12:59am UTC](https://discuss.elastic.co/t/node-processors/273803/9 "2021-07-17T00:59:40Z")

</div>

Siento la demora, no vi las respuestas antes

> [@Cristian1988](#):
>
> La pregunta es, ¿Podemos subir el tamaño de la cola de 200 (por defecto) a 10000 en nuestra versión 7.6.2 como en las últimas versiones de elastic? Sí es que sí, necesitaríamos ajustar algún parámetro adicional?

Lamentablemente sin subir a versiones mas recientes esto normalmente causa problemas.  
A partir de la versión `7.7` hemos cambiado mucho que usa heap de la JVM ([Disminuye de forma significativa tu uso de memoria heap de Elasticsearch | Elastic Blog](https://www.elastic.co/es/blog/significantly-decrease-your-elasticsearch-heap-memory-usage)) y por esto podíamos cambiar la configuración de las colas.

Otra cosa en la misma versión cambiábamos el garbage colector de la JVM a `G1GC` ([Garbage First Garbage Collector Tuning](https://www.oracle.com/technical-resources/articles/java/g1gc.html)) en los releases bundled con JAVA. Esto significa un poco más de uso de la CPU durante casi todo el tiempo, pero no vemos paradas enteras durante el garbage collection como con el anterior `CMS`.

Así os puede servir probar una versión más reciente de Elasticsearch.

---

<div class="post-metadata">

**Author:** ![Janko](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/janko/32/26896_2.png) [@Janko](https://discuss.elastic.co/u/Janko)\
**Post date:** [July 17, 2021, 1:00am UTC](https://discuss.elastic.co/t/node-processors/273803/10 "2021-07-17T01:00:09Z")

</div>



---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [November 4, 2022, 8:30am UTC](https://discuss.elastic.co/t/node-processors/273803/11 "2022-11-04T08:30:51Z")

</div>


