# Оптимизация в облаке

**URL:** <https://discuss.elastic.co/t/topic/108965>\
**Category:** Вопросы на русском языке\
**Created:** [November 24, 2017, 5:29am UTC](https://discuss.elastic.co/t/topic/108965 "2017-11-24T05:29:26Z")\
**Posts on this page:** 20\
**Page:** 1

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 24, 2017, 5:29am UTC](https://discuss.elastic.co/t/topic/108965/1 "2017-11-24T05:29:26Z")

</div>

Здравствуйте!  
Использую облачное решение, cluster ID - a275c3.  
В последнее время столкнулся с периодическим "залипанием" при запросах, даже за короткий промежуток времени. Диск заполнен на 83%, оперативная минимум на 80%.  
Подскажите, какие пути существуют для оптимизации в моем случае без увеличения тарифного плана?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [November 24, 2017, 5:38pm UTC](https://discuss.elastic.co/t/topic/108965/2 "2017-11-24T17:38:03Z")

</div>

> [@111140](#):
>
> оперативная минимум на 80%.

О какой памяти идет речь? Heap?

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 26, 2017, 3:38pm UTC](https://discuss.elastic.co/t/topic/108965/3 "2017-11-26T15:38:53Z")

</div>

Heap. Во время выборок, подскакивает до 100%

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [November 26, 2017, 4:30pm UTC](https://discuss.elastic.co/t/topic/108965/4 "2017-11-26T16:30:12Z")

</div>

Значит ресурсов не хватает. Надо либо запросы менять, либо бюджет увеличивать. Для того, чтобы понять, что менять, и возможно ли это, надо смотреть на то, какие запросы вы посылаете и куда память эта уходит ([`_node/stats`](https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-nodes-stats.html)).

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 27, 2017, 5:18am UTC](https://discuss.elastic.co/t/topic/108965/5 "2017-11-27T05:18:40Z")

</div>

Может ли помочь удаление ненужных полей?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [November 27, 2017, 11:52am UTC](https://discuss.elastic.co/t/topic/108965/6 "2017-11-27T11:52:36Z")

</div>

> Может ли помочь удаление ненужных полей?

надо смотреть куда память эта уходит.

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 27, 2017, 12:49pm UTC](https://discuss.elastic.co/t/topic/108965/7 "2017-11-27T12:49:29Z")

</div>

> [@Igor\_Motov](#):
>
> \_node/stats

Какие показатели важны из этого запроса? Слишком много строк, не могу сюда запостить.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [November 27, 2017, 1:07pm UTC](https://discuss.elastic.co/t/topic/108965/8 "2017-11-27T13:07:07Z")

</div>

[gist.github.com](https://gist.github.com) и ссылку сюда.

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 27, 2017, 1:12pm UTC](https://discuss.elastic.co/t/topic/108965/9 "2017-11-27T13:12:14Z")

</div>

> <https://gist.github.com/sfedotov1/28d07b8c249a45b25aaa11f3b9720569>

---

<div class="post-metadata">

**Author:** ![Yuri](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/yuri/32/52458_2.png) [@Yuri](https://discuss.elastic.co/u/Yuri)\
**Post date:** [November 27, 2017, 3:57pm UTC](https://discuss.elastic.co/t/topic/108965/10 "2017-11-27T15:57:00Z")

</div>

Судя по метрикам, ваш кластер активно тротлится, из-за этого вы видите переодические "залипания". Вам надо либо увеличить мощьность кластера или снизить нагрузку на кластер, например оптимизацией запросов.

 ![Cluster Overview (Detailed, Expensive) - Dashboard - Kibana 4 2017-11-27 10-48-37](https://us1.discourse-cdn.com/elastic/original/3X/5/5/55f3c6bc20eec83c985108d30d77b65bbfcc5d86.png)

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 27, 2017, 5:22pm UTC](https://discuss.elastic.co/t/topic/108965/11 "2017-11-27T17:22:09Z")

</div>

@Yuri @Igor_Motov  
Как понять нуждается ли запрос в оптимизации? Как можно оптимизировать запрос, например включением в запрос дополнительных полей?

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [November 30, 2017, 5:10am UTC](https://discuss.elastic.co/t/topic/108965/12 "2017-11-30T05:10:32Z")

</div>

@Yuri @Igor_Motov можете прокомментировать мой вопрос выше?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [November 30, 2017, 1:23pm UTC](https://discuss.elastic.co/t/topic/108965/13 "2017-11-30T13:23:53Z")

</div>

> Как понять нуждается ли запрос в оптимизации? Как можно оптимизировать запрос, например включением в запрос дополнительных полей?

В elasticsearch есть несколько способов анализа запросов. Самое мощное средство это [Query Profiler](https://www.elastic.co/guide/en/elasticsearch/reference/6.0/_profiling_queries.html). К сожалению, как и любой другой профайлер, query profiler добавляет свою нагрузку, что иногда искажает результаты. Так что надо с ним быть аккуратным.

Более примитивное, но и более надежное средство - это [hot\_threads](https://www.elastic.co/guide/en/elasticsearch/reference/6.0/cluster-nodes-hot-threads.html). Это средство позволяет посмотреть, где большинство запросов проводит больше времени.

У меня нет доступа к вашим запросам и к вашему кластеру, поэтому каких-то конкретных рекомендация дать не могу. Может, у @Yuri есть какие-то идеи по этому поводу.

---

<div class="post-metadata">

**Author:** ![Yuri](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/yuri/32/52458_2.png) [@Yuri](https://discuss.elastic.co/u/Yuri)\
**Post date:** [November 30, 2017, 4:24pm UTC](https://discuss.elastic.co/t/topic/108965/14 "2017-11-30T16:24:38Z")

</div>

@111140 на первый взгляд дело не в запросах и не в маппингах. Индексов многовато. Однако это не должно так сильно влиять.  
Пожалуйста обратитесь в поддержку. Это позволит нам исследовать проблему глубже.

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [December 3, 2017, 5:10pm UTC](https://discuss.elastic.co/t/topic/108965/15 "2017-12-03T17:10:17Z")

</div>

@Yuri написал на [support@elastic.co](mailto:support@elastic.co)

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [December 4, 2017, 8:05am UTC](https://discuss.elastic.co/t/topic/108965/16 "2017-12-04T08:05:12Z")

</div>

@Yuri создали тике #00169067  
Его будете смотреть Вы или он пойдет в общем порядке?

---

<div class="post-metadata">

**Author:** ![Yuri](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/yuri/32/52458_2.png) [@Yuri](https://discuss.elastic.co/u/Yuri)\
**Post date:** [December 4, 2017, 3:49pm UTC](https://discuss.elastic.co/t/topic/108965/17 "2017-12-04T15:49:37Z")

</div>

Отлично! Этим будет заниматься специалист по Elasticsearch, коим я увы, не являюсь. Моя сфера - инфраструктура Elastic Cloud. Буду признателен, если вы выясните в чем была проблема, и напишите в этот топик как ее решили.

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [December 6, 2017, 5:32pm UTC](https://discuss.elastic.co/t/topic/108965/18 "2017-12-06T17:32:45Z")

</div>

@Yuri @Igor_Motov  
В саппорте порекомендовали следующее:

1. Upgrade your cluster to have more resources;
2. Delete old indices that are not been used anymore, you can find indices from last year for example, here: ....eu-west-1.aws.found.io:9243/_2016_/\_aliases
3. Stop sending monitoring metric to the same cluster, its not the best practice. You should send this metric to a monitoring cluster. You can change that in the "Configuration" tab, section "Monitoring".

Выполнил 2 и 3 пункты, ситуация практически не изменилась. Остается только первый вариант. Планирую попробовать вариант "2 data centers".

---

<div class="post-metadata">

**Author:** ![111140](https://avatars.discourse-cdn.com/v4/letter/1/b487fb/32.png) [@111140](https://discuss.elastic.co/u/111140)\
**Post date:** [December 8, 2017, 1:21pm UTC](https://discuss.elastic.co/t/topic/108965/19 "2017-12-08T13:21:55Z")

</div>

@Yuri @Igor_Motov  
Здравствуйте!  
Не могу расширить кластер.  
Переставляю параметр на нужный размер, нажимаю Update и ничего не происходит  
но при этом есть сообщение - [http://prntscr.com/hkryor](http://prntscr.com/hkryor)  
Новый инстанс не поднимается - [http://prntscr.com/hkrz3w](http://prntscr.com/hkrz3w)  
Через некоторое время ползунок выбора тарифа встает на прежнее место.  
Написал в саппорт, заявка #00170187, но долго ждать мы не можем, кластер тормозит.  
Как то можете протолкнуть эту задачу в саппорте?

---

<div class="post-metadata">

**Author:** ![Yuri](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/yuri/32/52458_2.png) [@Yuri](https://discuss.elastic.co/u/Yuri)\
**Post date:** [December 8, 2017, 3:45pm UTC](https://discuss.elastic.co/t/topic/108965/20 "2017-12-08T15:45:17Z")

</div>

У вас кластер перегружен. Он даже не может сделать snapshot (последний сделан 11 часов назад). Согласно логам, это и есть причина почему кластер не может расширится.

[Next page](https://discuss.elastic.co/t/topic/108965.md?page=2)
