ERROR reindex

Elastic In Your Native Tongue Вопросы на русском языке
1

Всем привет!
В Index template поменял mapping поля на integer, соответственно после этого у меня нарисовались конфликты по типу поля. Хотел сделать reindex, но в процессе отработки вылетает ошибка.

POST запрос в Dev Tools:

POST _reindex/
{
  "source": {
    "index": "cdr-2020.10.26"
  },
  "dest": {
    "index": "cdr-2020.10.26_reindex"
  }
}

Ответ:

{
  "took" : 1012,
  "timed_out" : false,
  "total" : 124254,
  "updated" : 0,
  "created" : 998,
  "deleted" : 0,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [
    {
      "index" : "cdr-2020.10.26_reindex",
      "type" : "_doc",
      "id" : "MXoVZnUBU2Ydu8BdPh2f",
      "cause" : {
        "type" : "mapper_parsing_exception",
        "reason" : "failed to parse field [duration] of type [integer] in document with id 'MXoVZnUBU2Ydu8BdPh2f'. Preview of field's value: 'duration'",
        "caused_by" : {
          "type" : "number_format_exception",
          "reason" : "For input string: \"duration\""
        }
      },
      "status" : 400
    },
    {
      "index" : "cdr-2020.10.26_reindex",
      "type" : "_doc",
      "id" : "l3oVZnUBU2Ydu8BdPh2g",
      "cause" : {
        "type" : "mapper_parsing_exception",
        "reason" : "failed to parse field [duration] of type [integer] in document with id 'l3oVZnUBU2Ydu8BdPh2g'. Preview of field's value: 'INTEGER'",
        "caused_by" : {
          "type" : "number_format_exception",
          "reason" : "For input string: \"INTEGER\""
        }
      },
      "status" : 400
    }
  ]
}

Реиндексируется не больше тысячи документов из, а потом ошибка, в чем может быть проблема?

2

Посмотрите, как выглядит поле duration в документах с id l3oVZnUBU2Ydu8BdPh2g и MXoVZnUBU2Ydu8BdPh2f.

3

Выяснил, в полях "duration" значение "INTEGER", то есть вместо цифр буквы, удалил документы из индекса. Сделал запрос реиндекс и получил следующее:

{"statusCode":500,"error":"Internal Server Error","message":"[parent] Data too large, data for [<http_request>] would be [1026529670/978.9mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1026529088/978.9mb], new bytes reserved: [582/582b], usages [request=0/0b, fielddata=448214/437.7kb, in_flight_requests=582/582b, model_inference=0/0b, accounting=93360388/89mb]: [circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [1026529670/978.9mb], which is larger than the limit of [1020054732/972.7mb], real usage: [1026529088/978.9mb], new bytes reserved: [582/582b], usages [request=0/0b, fielddata=448214/437.7kb, in_flight_requests=582/582b, model_inference=0/0b, accounting=93360388/89mb], with { bytes_wanted=1026529670 & bytes_limit=1020054732 & durability=\"PERMANENT\" }"}

В чем может быть проблема?

4

Хипа не хватает.

5

Это что и как добавить?

6
1 Like
7

Как определить сколько нужно?

8
1 Like
9

И наверное последний вопрос, нужно увеличить для elasticsearch?

10

Да. Если у вас сейчас 1G там, то я бы начал с увеличения до 2G

1 Like
11

Выставил 4Гб, после в DevTools ошибка "{"statusCode":502,"error":"Bad Gateway","message":"Client request timeout"}" и не все документы реиндексирует. Из 116124 документов в индексе, около 62602 реиндексирует.

image
image1011×120 13.1 KB

Еще и Storage size увеличился...

12
  • запускайте через curl
  • либо увеличьте "Search Timeout" в Stack Management/Advanced Settings/Search
  • либо запустите его в асинхронном режиме
1 Like
13

Игорь, подскажите, у меня в logstash input file plugin, и потом всё проходит через csv filter, изначально, ошибка была потому что из файла считывались именя колонок, как этого избежать?

14

Я бы начал с внимательного чтения документации.

15

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.