# 1 of 21 shards failed

**URL:** <https://discuss.elastic.co/t/1-of-21-shards-failed/276797>\
**Category:** Вопросы на русском языке\
**Created:** [June 23, 2021, 1:32pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797 "2021-06-23T13:32:02Z")\
**Posts on this page:** 15\
**Page:** 1

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 23, 2021, 1:32pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/1 "2021-06-23T13:32:03Z")

</div>

Привет товарищи! Ни у кого не вываливалось подобное сообщение в Кибане (1 of 21 shards failed)? Оно возникает когда включаю визуализацию 3х таблиц с логами nginx с выборкой за +-3 часа (не только с ним проблема) и когда загружается большой объем данных (на самом деле не такой большой) . Если делать выборку за 15 минут, то все работает нормально. Пробовал уже гуглить проблему, но у других была совсем другая проблема.  
Такое ощущение, что кластер эластика просто не справляется с нагрузкой.  
Если у кого-нибудь было что то подобное, подскажите как решить..  
Спасибо! 🙂

Версия стэка 7.1.0 (jvm 12.0.1)  
В кластере 4 ноды. В логах эластика ничего интересного нет кроме старых ворнингов, которые там лежат с момента последнего перезапуска.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [June 23, 2021, 6:51pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/2 "2021-06-23T18:51:33Z")

</div>

Надо смотреть на конкретную ошибку. Там в тексте ошибки или в логах что-нибудь кроме `1 of 21 shards failed` еще есть?

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 24, 2021, 8:14am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/3 "2021-06-24T08:14:53Z")

</div>

К сожалению нет. Пока ищу информацию как настроить логирование, чтобы он писал обо всем.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [June 24, 2021, 6:57pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/4 "2021-06-24T18:57:18Z")

</div>

На визулизациях есть `...` в правом верхнем углу. Надо на них нажать, переключиться в "Inspect", поменять "View: Data" на "View: Requests", потом на закладку "Response".

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 25, 2021, 10:31am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/5 "2021-06-25T10:31:04Z")

</div>

На что стоит тут посмотреть?

```auto
{
  "took": 14329,
  "timed_out": false,
  "_shards": {
    "total": 21,
    "successful": 17,
    "skipped": 0,
    "failed": 4,
    "failures": [
      {
        "shard": 0,
        "index": "logfiles-2021.06.10-000382",
        "node": "JwiLljduSh29Ewylchi_OA",
        "reason": {
          "type": "too_many_buckets_exception",
          "reason": "Trying to create too many buckets. Must be less than or equal to: [10000] but was [10001]. This limit can be set by changing the [search.max_buckets] cluster level setting.",
          "max_buckets": 10000
        }
      },

```

UPD Кажется понял куда смотреть попробую найти место, где нужно поменять значение "max\_buckets"

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 25, 2021, 1:27pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/6 "2021-06-25T13:27:25Z")

</div>

Расширил лимиты (max\_buckets: "99999999")  
Возникли новые сообщения и тут я задумался. Не будет ли опасно, если я сейчас все эти лимиты расширю и может быть данные действительно большие исходя из "лога"? Что вы сможете порекомендовать мне в данном случае?

```auto
{
  "took": 10317,
  "timed_out": false,
  "_shards": {
    "total": 21,
    "successful": 18,
    "skipped": 0,
    "failed": 3,
    "failures": [
      {
        "shard": 0,
        "index": "logfiles-2021.06.14-000386",
        "node": "l-lT1JOcTFuyTjBu-JwsKA",
        "reason": {
          "type": "circuit_breaking_exception",
          "reason": "[parent] Data too large, data for [<reused_arrays>] would be [5035054240/4.6gb], which is larger than the limit of [5034029875/4.6gb], real usage: [5035054168/4.6gb], new bytes reserved: [72/72b]",
          "bytes_wanted": 5035054240,
          "bytes_limit": 5034029875,
          "durability": "TRANSIENT"
        }
      },
      {
        "shard": 0,
        "index": "logfiles-2021.06.15-000387",
        "node": "IKiHiGakQTC56cgIV6Jlsw",
        "reason": {
          "type": "circuit_breaking_exception",
          "reason": "[parent] Data too large, data for [<reused_arrays>] would be [5034959704/4.6gb], which is larger than the limit of [5034029875/4.6gb], real usage: [5034959632/4.6gb], new bytes reserved: [72/72b]",
          "bytes_wanted": 5034959704,
          "bytes_limit": 5034029875,
          "durability": "PERMANENT"
        }
      },
      {
        "shard": 0,
        "index": "logfiles-2021.06.22-000394",
        "node": "uFcIxSADQ72BxfmvoJQzQg",
        "reason": {
          "type": "too_many_buckets_exception",
          "reason": "Trying to create too many buckets. Must be less than or equal to: [10000] but was [10001]. This limit can be set by changing the [search.max_buckets] cluster level setting.",
          "max_buckets": 10000
        }
      }
    ]
  },

```

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [June 26, 2021, 12:55am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/7 "2021-06-26T00:55:16Z")

</div>

Если в визуализациях посмотреть на X-Axis, то там, скорее всего, будет Date Histogram стоять. Посмотрите в поле "Minimum interval" если там секунды стоят, то переставьте на auto. Вы, похоже, слишком много результатов запрашиваете.

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/a/7/a7891b84b088d2ec74823b56a9ad2f44a0f6bca1.png)

В последних версиях кибаны мы от этого защиту поставили, но, наверное, в 7.1 ее еще не было.

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 28, 2021, 7:39am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/8 "2021-06-28T07:39:16Z")

</div>

Круто! Да, этого поля я у нас не наблюдаю. Попробую пока что-нибудь поискать про изменение лимитов.

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [June 28, 2021, 3:10pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/9 "2021-06-28T15:10:52Z")

</div>

Не лимиты надо менять, а интервалы. Если у вас они в секундах - это пустая трата ресурсов. В 3-х часах 10,800 секунд, если у вас гистограмма с шагом в секунду - вы получаете информацию для 10,000+ точек. У вас экране только максимум половину от этих точек может показать - и то если у вас 5К дисплей и вы этот график смотрите в полный экран. В реальности среднее разрешение экрана сейчас не больше 2000 точек и обычно размешают 2 графика на экран, то есть вы 9 из 10 полученных результатов просто выбрасываете, так как отразить их не можете,

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 30, 2021, 8:25am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/10 "2021-06-30T08:25:15Z")

</div>

У нас не гистограмма даже, а простая Table, с разными Term (к примеру с полями access.log nginx'a)

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [June 30, 2021, 8:55am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/11 "2021-06-30T08:55:51Z")

</div>

Сама Кибана иногда виснет при отображении дашборда. Пишет следующее:

```auto
{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [5035760144/4.6gb], which is larger than the limit of [5034029875/4.6gb], real usage: [5035760144/4.6gb], new bytes reserved: [0/0b], with { bytes_wanted=5035760144 & bytes_limit=5034029875 & durability=\"PERMANENT\" }"}

```

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [June 30, 2021, 6:39pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/12 "2021-06-30T18:39:12Z")

</div>

Надо менять запрос, он у вас слишком большой

---

<div class="post-metadata">

**Author:** ![Vlad\_Piratov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/vlad_piratov/32/66523_2.png) [@Vlad\_Piratov](https://discuss.elastic.co/u/Vlad_Piratov)\
**Post date:** [July 1, 2021, 7:04am UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/13 "2021-07-01T07:04:47Z")

</div>

> [@Vlad\_Piratov](#):
>
> `would be [5035760144/4.6gb],`

Не знаете откуда он берет эту цифру про 4.6гб?

---

<div class="post-metadata">

**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\
**Post date:** [July 1, 2021, 4:27pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/14 "2021-07-01T16:27:51Z")

</div>

[Знаю](https://www.elastic.co/guide/en/elasticsearch/reference/current/circuit-breaker.html#request-circuit-breaker), но эта не та цифра, на которую вам надо смотреть. Надо смотреть на запрос и разбираться.

---

<div class="post-metadata">

**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\
**Post date:** [July 29, 2021, 4:28pm UTC](https://discuss.elastic.co/t/1-of-21-shards-failed/276797/15 "2021-07-29T16:28:11Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.