Низкая скорость индексации

Elastic In Your Native Tongue Вопросы на русском языке
1

Здравствуйте! Помогите, пожалуйста, подкрутить настройки для ускорения индексации.
Используем сервер, конфигурация:

  • 10 ядер
  • 128Гб оперативной
  • SSD

Документы в среднем весят 10-30Мб, посылаю запросы на пакетную вставку, в пакете около 300-400 документов. Запросы пакетной вставки тоже идут параллельно в 8 потоков.

Но никак не могу добиться хорошей скорости индексации. Обычно она не превышает 6-8тыс. документов в минуту. Процессор загружен от силы на 15-20%, диск так же. Вообще простаивает железо.

Подскажите, пожалуйста, как оптимизировать?

2

Сложно на вскидку сказать. Надо смотреть, где тормозит. Какая версия elasticsearch? Сколько шард? Как hot_threads и nodes stats выглядят?

3

попробуйте вот этот магический параметр:

indices.memory.index_buffer_size: 50%

и JMV параметры, надеюсь, вот такие?

 -Xms31g
 -Xmx31g

И еще один магический параметр:

index.merge.scheduler.max_thread_count: 4

Если вдруг Эластик не смог по какой-либо причине определить, что он на SSD.