# Запрет релоцирования определённых индексов

**URL:** https://discuss.elastic.co/t/topic/217426
**Category:** Вопросы на русском языке
**Created:** [January 31, 2020, 4:23pm UTC](https://discuss.elastic.co/t/topic/217426 "2020-01-31T16:23:19Z")
**Posts on this page:** 8
**Page:** 1

<div class="post-metadata">

### Author: ![111229](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/111229/32/56578_2.png) [@111229](https://discuss.elastic.co/u/111229)
#### Post date: [January 31, 2020, 4:23pm UTC](https://discuss.elastic.co/t/topic/217426/1 "2020-01-31T16:23:19Z")

</div>

Коллеги, добрый вечер!

У нас кластер из 8-дата-нод.  
Есть задача добавить ещё 2 дата- ноды и перенести туда только определённые индексы, которые располагаются на 8 дата-нодах (шардирование 8).  
Также нужно создать правило чтобы только определённые новые индексы сохранялись на новых двух-дата нодах, а остальные индексы сохранялись на 8 старых нодах.

Вопрос есть ли способы как это сделать?

На текущий момент 2 новые ноды мы уже ввели в кластер, и в настройках релокации кластера сделали исключение на эти две ноды, чтобы избежать релоцирования шардов.  
Заранее большое спасибо за ответ.

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [January 31, 2020, 8:12pm UTC](https://discuss.elastic.co/t/topic/217426/2 "2020-01-31T20:12:02Z")

</div>

[https://www.elastic.co/guide/en/elasticsearch/reference/7.5/shard-allocation-filtering.html](https://www.elastic.co/guide/en/elasticsearch/reference/7.5/shard-allocation-filtering.html)

---

<div class="post-metadata">

### Author: ![111229](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/111229/32/56578_2.png) [@111229](https://discuss.elastic.co/u/111229)
#### Post date: [February 2, 2020, 12:20am UTC](https://discuss.elastic.co/t/topic/217426/3 "2020-02-02T00:20:11Z")

</div>

Спасибо! Удалось сделать

---

<div class="post-metadata">

### Author: ![111229](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/111229/32/56578_2.png) [@111229](https://discuss.elastic.co/u/111229)
#### Post date: [February 5, 2020, 4:00pm UTC](https://discuss.elastic.co/t/topic/217426/4 "2020-02-05T16:00:25Z")

</div>

Коллеги, после того как мы сделали запрет на алоцирование в логах logstash много ошибок типа:

```auto
[2020-02-05T18:58:25,690][INFO][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of processing of [119929179][indices:data/write/bulk[s][p]]: request: BulkShardRequest [[dbo3-prod-filebeat-2020.02.05][5]] containing [14] requests, target allocation id: JEXbRM6_SoexGOF3kluIVQ, primary term: 1 on EsThreadPoolExecutor[name = elk-data09.mbrd.ru/write, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@35d5dc93[Running, pool size = 4, active threads = 4, queued tasks = 203, completed tasks = 107004511]]"})

```

Подскажите, плийз, это норм?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [February 5, 2020, 4:19pm UTC](https://discuss.elastic.co/t/topic/217426/5 "2020-02-05T16:19:46Z")

</div>

> [@111229](#):
>
> Подскажите, плийз, это норм?

Если их не много - то это нормально, если много - значит ресурсов на узлах, на которых расположены эти индексы, скорее всего, не хватает. Сколько у вас узлов logstash и сколько в них worker? На каком количестве узлов elasticsearch расположены эти индексы и сколько процессоров в этих узлах?

Посмотрите вот [эту статью в блоге](https://www.elastic.co/blog/why-am-i-seeing-bulk-rejections-in-my-elasticsearch-cluster).

---

<div class="post-metadata">

### Author: ![111229](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/111229/32/56578_2.png) [@111229](https://discuss.elastic.co/u/111229)
#### Post date: [February 5, 2020, 4:47pm UTC](https://discuss.elastic.co/t/topic/217426/6 "2020-02-05T16:47:53Z")

</div>

У нас два узла logstash - 14 ядер на каждом. В logstash.yml у нас закомментирована настройка # pipeline.workers: 1 в pipeline также. Мы ведь правильно понимаем что используются все 14 ядер. Фильтруемые ндексы аллоцируются только на два узлах (дата-нодах) на каждой дата-ноде 6 ядер, утилизация CPU нод 30% . Индекс состоит по 8 шардов и 1 реплика. Возможно как раз стоит уменьшить кол-во шардов? Индекс за сутки достигает 200Гб. А 8 шардов - это наследие, когда индекс располагася на 8 дата-нодах.

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [February 6, 2020, 7:04pm UTC](https://discuss.elastic.co/t/topic/217426/7 "2020-02-06T19:04:36Z")

</div>

> [@111229](#):
>
> Мы ведь правильно понимаем что используются все 14 ядер.

Да, это значение по умолчанию, то есть. А эти ядра - с гиперпоточность, если да, то у вас получается 224 (14 ядер \*2 потоков \* 8 шард) параллельных запросов, которые переполняют очередь из 200 ячеек и 4-х потоков на эластике. Другими словами, я бы количество потоков на logstash-e ограничил. Уменьшить количество шард тоже может помочь.

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [March 5, 2020, 7:04pm UTC](https://discuss.elastic.co/t/topic/217426/8 "2020-03-05T19:04:44Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.
