# ERROR reindex

**URL:** https://discuss.elastic.co/t/error-reindex/267252
**Category:** Вопросы на русском языке
**Created:** [March 15, 2021, 11:47am UTC](https://discuss.elastic.co/t/error-reindex/267252 "2021-03-15T11:47:40Z")
**Posts on this page:** 15
**Page:** 1

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 11:47am UTC](https://discuss.elastic.co/t/error-reindex/267252/1 "2021-03-15T11:47:40Z")

</div>

Всем привет!  
В Index template поменял mapping поля на integer, соответственно после этого у меня нарисовались конфликты по типу поля. Хотел сделать reindex, но в процессе отработки вылетает ошибка.

POST запрос в Dev Tools:

```auto
POST _reindex/
{
  "source": {
    "index": "cdr-2020.10.26"
  },
  "dest": {
    "index": "cdr-2020.10.26_reindex"
  }
}

```

Ответ:

```auto
{
  "took" : 1012,
  "timed_out" : false,
  "total" : 124254,
  "updated" : 0,
  "created" : 998,
  "deleted" : 0,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [
    {
      "index" : "cdr-2020.10.26_reindex",
      "type" : "_doc",
      "id" : "MXoVZnUBU2Ydu8BdPh2f",
      "cause" : {
        "type" : "mapper_parsing_exception",
        "reason" : "failed to parse field [duration] of type [integer] in document with id 'MXoVZnUBU2Ydu8BdPh2f'. Preview of field's value: 'duration'",
        "caused_by" : {
          "type" : "number_format_exception",
          "reason" : "For input string: \"duration\""
        }
      },
      "status" : 400
    },
    {
      "index" : "cdr-2020.10.26_reindex",
      "type" : "_doc",
      "id" : "l3oVZnUBU2Ydu8BdPh2g",
      "cause" : {
        "type" : "mapper_parsing_exception",
        "reason" : "failed to parse field [duration] of type [integer] in document with id 'l3oVZnUBU2Ydu8BdPh2g'. Preview of field's value: 'INTEGER'",
        "caused_by" : {
          "type" : "number_format_exception",
          "reason" : "For input string: \"INTEGER\""
        }
      },
      "status" : 400
    }
  ]
}

```

Реиндексируется не больше тысячи документов из, а потом ошибка, в чем может быть проблема?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 2:13pm UTC](https://discuss.elastic.co/t/error-reindex/267252/2 "2021-03-15T14:13:54Z")

</div>

Посмотрите, как выглядит поле `duration` в документах с id `l3oVZnUBU2Ydu8BdPh2g` и `MXoVZnUBU2Ydu8BdPh2f`.

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 5:27pm UTC](https://discuss.elastic.co/t/error-reindex/267252/3 "2021-03-15T17:27:37Z")

</div>

> [@Igor\_Motov](#):
>
> Посмотрите, как выглядит поле `duration` в документах с id `l3oVZnUBU2Ydu8BdPh2g` и `MXoVZnUBU2Ydu8BdPh2f` .

Выяснил, в полях "duration" значение "INTEGER", то есть вместо цифр буквы, удалил документы из индекса. Сделал запрос реиндекс и получил следующее:

```auto
{"statusCode":500,"error":"Internal Server Error","message":"[parent] Data too large, data for [<http_request>] would be [1026529670/978.9mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1026529088/978.9mb], new bytes reserved: [582/582b], usages [request=0/0b, fielddata=448214/437.7kb, in_flight_requests=582/582b, model_inference=0/0b, accounting=93360388/89mb]: [circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [1026529670/978.9mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1026529088/978.9mb], new bytes reserved: [582/582b], usages [request=0/0b, fielddata=448214/437.7kb, in_flight_requests=582/582b, model_inference=0/0b, accounting=93360388/89mb], with { bytes_wanted=1026529670 & bytes_limit=1020054732 & durability=\"PERMANENT\" }"}

```

В чем может быть проблема?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 5:37pm UTC](https://discuss.elastic.co/t/error-reindex/267252/4 "2021-03-15T17:37:11Z")

</div>

> [@artem33region](#):
>
> В чем может быть проблема?

Хипа не хватает.

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 5:39pm UTC](https://discuss.elastic.co/t/error-reindex/267252/5 "2021-03-15T17:39:39Z")

</div>

> [@Igor\_Motov](#):
>
> Хипа не хватает.

Это что и как добавить?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 5:44pm UTC](https://discuss.elastic.co/t/error-reindex/267252/6 "2021-03-15T17:44:11Z")

</div>

> [@artem33region](#):
>
> Это что

> **[Куча (память)](https://ru.wikipedia.org/wiki/%D0%9A%D1%83%D1%87%D0%B0_(%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D1%8C))**
>
> Ку́ча (англ. heap) в информатике и программировании — название структуры данных, с помощью которой реализована динамически распределяемая память приложения.
> Размер кучи — размер памяти, выделенный операционной системой (ОС) для хранения кучи (под кучу).
> При запуске процесса ОС выделяет память для размещения кучи. В дальнейшем память для кучи (под кучу) может выделяться динамически.
> Программа пользователя, используя функции, подобные malloc(), может получать указатели на области памяти, принадл...

> [@artem33region](#):
>
> и как добавить?

> **[Setting JVM options | Elasticsearch Guide \[7.11\] | Elastic](https://www.elastic.co/guide/en/elasticsearch/reference/7.11/jvm-options.html)**

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 6:06pm UTC](https://discuss.elastic.co/t/error-reindex/267252/7 "2021-03-15T18:06:32Z")

</div>

Как определить сколько нужно?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 6:12pm UTC](https://discuss.elastic.co/t/error-reindex/267252/8 "2021-03-15T18:12:59Z")

</div>

> [@Elasticsearch sizing: Number of nodes, RAM needed](https://discuss.elastic.co/t/elasticsearch-sizing-number-of-nodes-ram-needed/177186/2):
>
> This will depend on your data, hardware and query requirements. I would recommend looking at the following resources: [https://www.elastic.co/webinars/using-rally-to-get-your-elasticsearch-cluster-size-right](https://www.elastic.co/webinars/using-rally-to-get-your-elasticsearch-cluster-size-right)[https://www.elastic.co/elasticon/conf/2016/sf/quantitative-cluster-sizing](https://www.elastic.co/elasticon/conf/2016/sf/quantitative-cluster-sizing)[https://www.elastic.co/webinars/optimizing-storage-efficiency-in-elasticsearch](https://www.elastic.co/webinars/optimizing-storage-efficiency-in-elasticsearch)[https://www.elastic.co/elasticon/conf/2018/sf/the-seven-deadly-sins-of-elasticsearch-benchmarking](https://www.elastic.co/elasticon/conf/2018/sf/the-seven-deadly-sins-of-elasticsearch-benchmarking)

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 6:19pm UTC](https://discuss.elastic.co/t/error-reindex/267252/9 "2021-03-15T18:19:51Z")

</div>

И наверное последний вопрос, нужно увеличить для elasticsearch?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 6:24pm UTC](https://discuss.elastic.co/t/error-reindex/267252/10 "2021-03-15T18:24:12Z")

</div>

Да. Если у вас сейчас 1G там, то я бы начал с увеличения до 2G

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 15, 2021, 6:47pm UTC](https://discuss.elastic.co/t/error-reindex/267252/11 "2021-03-15T18:47:26Z")

</div>

> [@Igor\_Motov](#):
>
> Да. Если у вас сейчас 1G там, то я бы начал с увеличения до 2G

Выставил 4Гб, после в DevTools ошибка "{"statusCode":502,"error":"Bad Gateway","message":"Client request timeout"}" и не все документы реиндексирует. Из 116124 документов в индексе, около 62602 реиндексирует.

 ![image](https://us1.discourse-cdn.com/elastic/original/3X/7/6/76797d8f3f984eab92cd6ee7c79db5388315d3dd.png)

Еще и Storage size увеличился...

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 15, 2021, 8:12pm UTC](https://discuss.elastic.co/t/error-reindex/267252/12 "2021-03-15T20:12:08Z")

</div>

> [@artem33region](#):
>
> "{"statusCode":502,"error":"Bad Gateway","message":"Client request timeout"}"

- запускайте через curl
- либо увеличьте "Search Timeout" в Stack Management/Advanced Settings/Search
- либо запустите его в [асинхронном режиме](https://www.elastic.co/guide/en/elasticsearch/reference/7.11/docs-reindex.html#docs-reindex-task-api)

---

<div class="post-metadata">

### Author: ![artem33region](https://avatars.discourse-cdn.com/v4/letter/a/f07891/32.png) [@artem33region](https://discuss.elastic.co/u/artem33region)
#### Post date: [March 16, 2021, 6:23am UTC](https://discuss.elastic.co/t/error-reindex/267252/13 "2021-03-16T06:23:07Z")

</div>

Игорь, подскажите, у меня в logstash input file plugin, и потом всё проходит через csv filter, изначально, ошибка была потому что из файла считывались именя колонок, как этого избежать?

---

<div class="post-metadata">

### Author: ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [March 16, 2021, 3:08pm UTC](https://discuss.elastic.co/t/error-reindex/267252/14 "2021-03-16T15:08:36Z")

</div>

> [@artem33region](#):
>
> как этого избежать?

Я бы начал с внимательного чтения [документации](https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html#plugins-filters-csv-skip_header).

---

<div class="post-metadata">

### Author: ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)
#### Post date: [April 13, 2021, 3:09pm UTC](https://discuss.elastic.co/t/error-reindex/267252/15 "2021-04-13T15:09:36Z")

</div>

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.