# Problème de mémoire
**URL:** https://discuss.elastic.co/t/probleme-de-memoire/231948
**Category:** Discussions en français
**Created:** [May 11, 2020, 7:49am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948 "2020-05-11T07:49:25Z")
**Posts on this page:** 7
**Page:** 1
### Author:  [@jof300](https://discuss.elastic.co/u/jof300)
#### Post date: [May 11, 2020, 7:49am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/1 "2020-05-11T07:49:25Z")
Bonjour,
J'ai un cluster de 7 nodes (3 master , 4 data) . Les master sont des vm et les data des machines physiques (48 cpu, 64Go ram et 24To disque par machine)
On ramene un peu de tout dans le cluster (logs applicatifs, firewall, exchange , proxy etc...)
Le volume conséquent vient des firewall puis nous avons plus de 100 index avec 200Go par index (tous encore ouverts).
NB : étrangement, on a définit 100Go dans l'ILM pour les firewall mais l'index fait à chaque fois 200Go
On commence bien sur à avoir des problemes de mémoire malgré les jvm des data nodes a 30Go chacune. On a fréquemment des breaker circuit qu'on voit dans le monitoring avec Prometheus.
Mes questions :
1. le fait de fermer les index va-t-il réduire considérablement le heap usage ?
2. est-ce que plus l'index est grand, plus il prend de la place en mémoire ? Ou c'est juste un pointeur, peu importe la taille ?
3. est-ce que le nombre de data nodes est suffisant ? On compte ajouter 2 cold nodes . On fermerait les index et on les bougerait dessus
Merci
---
### Author:  [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)
#### Post date: [May 11, 2020, 8:28am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/2 "2020-05-11T08:28:43Z")
**Combien de shard avez vous par index ?**
> [@jof300](#):
>
> - le fait de fermer les index va-t-il réduire considérablement le heap usage ?
> - est-ce que plus l'index est grand, plus il prend de la place en mémoire ? Ou c'est juste un pointeur, peu importe la taille ?
=\> Il me semble que la consommation de la memoire est dependante au nombre des index et aussi la taille des shards.
> [@jof300](#):
>
> J'ai un cluster de 7 nodes (3 master , 4 data) .
=\> 3 masters. Master elligible. Lors du lancement seulement, 1 sera élu master. Donc les 2 autres font rien. Pourquoi ne pas les faire travailler ? Pk ne pas avoir 3 master elligible et data + les 4 autres data.
---
### Author:  [@jof300](https://discuss.elastic.co/u/jof300)
#### Post date: [May 11, 2020, 8:51am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/3 "2020-05-11T08:51:25Z")
Bonjour,
On est parti sur 1 shard primaire et 1 replica .
Concernant nos masters, il n y a aucun storage sur ceux-ci. Donc on ne pourra pas les transformer en data node.
Merci
---
### Author:  [@ahmed\_charafouddine](https://discuss.elastic.co/u/ahmed_charafouddine)
#### Post date: [May 11, 2020, 9:04am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/4 "2020-05-11T09:04:47Z")
> [@jof300](#):
>
> On est parti sur 1 shard primaire et 1 replica .
==\> Il n'y a réellement pas de limite à la taille des shards. Mais il est qu'à même conseillé de limiter la taille des shards à 40 - 50 Go car la vitesse à laquelle ES déplacer les shards lors d'un réequilibrage de donnée dépends de la taille des shards / performance des DB. Plus les shards sont lourdes = +necessite de beaucoup de ressources.
Je pense que ce webinar pourrait vous apporter des solutions : [https://www.elastic.co/fr/elasticon/conf/2016/sf/quantitative-cluster-sizing](https://www.elastic.co/fr/elasticon/conf/2016/sf/quantitative-cluster-sizing)
---
### Author:  [@dadoonet](https://discuss.elastic.co/u/dadoonet)
#### Post date: [May 11, 2020, 9:24am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/5 "2020-05-11T09:24:58Z")
Bonjour
> [@jof300](#):
>
> NB : étrangement, on a définit 100Go dans l'ILM pour les firewall mais l'index fait à chaque fois 200Go
Je me demande si cette taille ne correspond pas en fait à la taille totale (incluant les replicas).
> [@jof300](#):
>
> le fait de fermer les index va-t-il réduire considérablement le heap usage ?
Oui.
> [@jof300](#):
>
> est-ce que plus l'index est grand, plus il prend de la place en mémoire ? Ou c'est juste un pointeur, peu importe la taille ?
Un index plus grand va utiliser un peu plus de HEAP à cause du stockage `_id` et `_uid` en HEAP notamment.
> [@jof300](#):
>
> est-ce que le nombre de data nodes est suffisant ? On compte ajouter 2 cold nodes . On fermerait les index et on les bougerait dessus
Comme tu as des index temporels, c'est toujours bien je trouve de décharger les noeuds "hot" sur des noeuds "warms".
> [@ahmed\_charafouddine](#):
>
> =\> 3 masters. Master elligible. Lors du lancement seulement, 1 sera élu master. Donc les 2 autres font rien. Pourquoi ne pas les faire travailler ? Pk ne pas avoir 3 master elligible et data + les 4 autres data.
Lorsque le cluster commence à être gros (en nombre d'index et/ou de noeuds), avoir des noeuds master dédiés est plutôt une bonne idée car le cluster state (CS) commence à prendre pas mal de place. Faire les mises à jour du CS sur des machines non perturbées par la charge d'indexation est du coup la garantie d'une MAJ plus rapide.
> [@ahmed\_charafouddine](#):
>
> Mais il est qu'à même conseillé de limiter la taille des shards à 40 - 50 Go car la vitesse à laquelle ES déplacer les shards lors d'un réequilibrage de donnée dépends de la taille des shards / performance des DB. Plus les shards sont lourdes = +necessite de beaucoup de ressources.
Oui. En général on recommande des tailles par shard entre 20 et 50go suivant les tests.
Pas plus de 20 shards par Go de HEAP. Dans ton cas, sachant que tu as 3 noeuds à 30go de HEAP, pas plus de 600 shards par noeud, soit 1800 shards pour ton cluster.
Comme tu as 1 replica par shard, ça veut dire pas plus de 900 index sur ton cluster.
> [@ahmed\_charafouddine](#):
>
> Je pense que ce webinar pourrait vous apporter des solutions : [Quantitative Cluster Sizing | Elastic](https://www.elastic.co/fr/elasticon/conf/2016/sf/quantitative-cluster-sizing)
👍🏼
---
### Author:  [@jof300](https://discuss.elastic.co/u/jof300)
#### Post date: [May 11, 2020, 11:11am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/6 "2020-05-11T11:11:52Z")
Merci pour vos réponses
---
### Author:  [@system](https://discuss.elastic.co/u/system)
#### Post date: [June 8, 2020, 11:11am UTC](https://discuss.elastic.co/t/probleme-de-memoire/231948/7 "2020-06-08T11:11:53Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.