# Optimisation temps de réponse requête

**URL:** <https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859>\
**Category:** Discussions en français\
**Created:** [June 6, 2018, 6:22pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859 "2018-06-06T18:22:23Z")\
**Posts on this page:** 9\
**Page:** 1

<div class="post-metadata">

**Author:** ![lfourny](https://avatars.discourse-cdn.com/v4/letter/l/f19dbf/32.png) [@lfourny](https://discuss.elastic.co/u/lfourny)\
**Post date:** [June 6, 2018, 6:22pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/1 "2018-06-06T18:22:23Z")

</div>

Bonjour,

Je travail actuellement à la conception d'une interface qui récupère des données dans une instance ElasticCloud de notre client.  
Notre client indéxe des logs via filebeat. Plusieurs index par jour et par nature de logs.

mes requêtes commencent donc par GET /filebeat\*/\_search.

J'ai un accés à Kibana et depuis quelques jours les temps de réponse des requêtes dépassent les 2 secondes.

je dois faire plusieurs types de requête (aggregation , filtrage, etc)

Que faire pour optimise tout ça ?

Faut-il faire un seul et même index ou continuer avec une trés grande quantité d'index ?

Pour l'instant nous sommes en phase de développement et nous pouvons "casser" les index existants.

Merci d'avance pour vos réponses.

Laurent

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 7, 2018, 10:00am UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/2 "2018-06-07T10:00:32Z")

</div>

Comme tu utilises [cloud.elastic.co](http://cloud.elastic.co), tu devrais d'abord demander de l'aide au support. [https://www.elastic.co/cloud/as-a-service/support](https://www.elastic.co/cloud/as-a-service/support).

Peux-tu faire:

```auto
GET /_cat/indices?v
GET /_cat/nodes?v
GET /_cat/health?v

```

> Faut-il faire un seul et même index ou continuer avec une trés grande quantité d'index ?

Je te recommande ces ressources:

> **[Quantitative Cluster Sizing](https://www.elastic.co/elasticon/conf/2016/sf/quantitative-cluster-sizing)**

> **[How many shards should I have in my Elasticsearch cluster?](https://www.elastic.co/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster)**

> **[NetSecureDay: Managing your Black Friday Logs](https://speakerdeck.com/elastic/netsecureday-managing-your-black-friday-logs)**
>
> Surveiller une application complexe n’est pas une tâche aisée, mais avec les bons outils, ce n’est pas si sorcier. Néanmoins, des périodes fortes telles que les opérations de type « Black Friday » (Vendredi noir) ou période de Noël peuvent pousser...

[![](https://us1.discourse-cdn.com/elastic/original/3X/7/c/7c2edebd5bac194c58a5df87ede6872cb41d61a8.jpeg "Managing your Black Friday Logs, Pablo Musa, Elastic, TechSummit Amsterdam") ](https://www.youtube.com/watch?v=ilP7tG6tabI)

---

<div class="post-metadata">

**Author:** ![lfourny](https://avatars.discourse-cdn.com/v4/letter/l/f19dbf/32.png) [@lfourny](https://discuss.elastic.co/u/lfourny)\
**Post date:** [June 7, 2018, 2:24pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/3 "2018-06-07T14:24:35Z")

</div>

Bonjour David,

Merci pour tes liens que j'etudie avec attention.  
Concernant les commandes voici les résultats

La commande \_cat/indices?v retourne 413 lignes (trop long pour ce message)  
J'ai donc résumé les résulats  
267 index de log pour 13 millions de documents  
146 index (.monitoring, .watcher, .reporting ) pour un total de 23.3 millions de documents.

```
health	:yellow
status	:open
index	:Filebeat-6.1.2-2018.02.22 
uuid	:xxxxxxx
pri	:5
rep	:1
docs.count	: 113 000
store.size	: ~ 20MB
pri.store.size	: ~ 20Mb

```

Les 267 lignes sont preque identiques (à part le nom de l'index et le nombre de doc qui varie)  
Pour les 3 dernières infos j'ai mis la moyenne (docs.count, store.size, pri.store.size)  
le max pour store.size est de 60Mb.

Pour la commande \_cat/nodes?

```
ip	: 172.00.000.000
heap.percent	: 71
ram.percent	: 95
cpu	: 40
load_1m	: 13.37
load_5m	: 13.33
load_15m	: 14.14
node.role	: mdi
master	: *
name	: instance-0000000005

```

Et pour la commande \_cat/health?

```
epoch	: 1528378945
timestamp	: 0,5711226852
cluster	: bc4701b5a057bd910f4fb20228129d96
status	: yellow
node.total	: 1
node.data	: 1
shards	: 1519
pri	: 1519
relo	: 0
init	: 0
unassign	: 1505
pending_tasks	: 0
max_task_wait_time	-
active_shards_percent	: 50.2%

```

A la lecture des ressources indiquées et sans être un grand spécialiste je pense que l'ensemble n'est pas vraiment optimisé.

Pour info nous n'avons pas la main sur la paramétrage d'ES cloud. le service R&D du client gére les données envoyées et l'indexation....mais pour l'instant ça rame...

Merci et à bientôt.

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 7, 2018, 2:36pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/4 "2018-06-07T14:36:19Z")

</div>

Peux-tu uploader les résultats bruts sur [gist.github.com](http://gist.github.com)?

---

<div class="post-metadata">

**Author:** ![lfourny](https://avatars.discourse-cdn.com/v4/letter/l/f19dbf/32.png) [@lfourny](https://discuss.elastic.co/u/lfourny)\
**Post date:** [June 7, 2018, 2:59pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/5 "2018-06-07T14:59:34Z")

</div>

C'est fait à l'adresse :

> <https://gist.github.com/laurentf60/12ea71ec4fc8316342c17adbde3d6afa>

Laurent

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 7, 2018, 8:18pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/6 "2018-06-07T20:18:07Z")

</div>

Quelques constats:

- 1 seul noeud
- 1519 shards! (Regarde bien ce slide: [https://speakerdeck.com/elastic/netsecureday-managing-your-black-friday-logs?slide=35](https://speakerdeck.com/elastic/netsecureday-managing-your-black-friday-logs?slide=35))

Je te conseille de virer les index `.watcher-history*`, éventuellement les index `.monitoring-*` anciens.

Tu as aussi des index filebeat de 2017. Tu en as encore besoin ?

Bref, je supprimerai énormément d'index inutiles et je changerai la configuration des index filebeat pour n'utiliser qu'un seul shard et évnetuellement (mais je n'ai pas regardé comment on fait), passer à des index mensuels vu le faible volume que tu as.

Tout ça est expliqué plus ou moins dans la vidéo que j'ai liée.

---

<div class="post-metadata">

**Author:** ![lfourny](https://avatars.discourse-cdn.com/v4/letter/l/f19dbf/32.png) [@lfourny](https://discuss.elastic.co/u/lfourny)\
**Post date:** [June 8, 2018, 12:17pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/7 "2018-06-08T12:17:23Z")

</div>

Grand merci David pour tes explications. il ne reste plus qu'a en discuter avec le client et passer à l'action...

---

<div class="post-metadata">

**Author:** ![dadoonet](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/dadoonet/32/137187_2.png) [@dadoonet](https://discuss.elastic.co/u/dadoonet)\
**Post date:** [June 8, 2018, 12:29pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/8 "2018-06-08T12:29:05Z")

</div>

En même temps conseille lui de prendre du support officiel de l'éditeur. Notre équipe est excellente !

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [July 6, 2018, 12:29pm UTC](https://discuss.elastic.co/t/optimisation-temps-de-reponse-requete/134859/9 "2018-07-06T12:29:05Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
