Добрый день! Имею кластер - 5 bare-metal серверов с 40 ядрами CPU и 256 гб ОЗУ. Диски - NVMe.
Мне нужно индексировать примерно 350000 документов в секунду (логи). Сейчас я сталкиваюсь на 150000 документов в секунду уже с утилизацией CPU на 99-100%.
Утилизируется только CPU, проблем с памятью и дисками - не вижу.
index.refresh_interval для разных индексов минимум "30s", максимум - 3 минуты.
Версия - 7.9.3
Количество шардов ставил равным количеству нод, то есть "5". Реплики убирал вовсе - ставил в "0"
Какие есть рекомендации повысить скорость индексирования? Или этих ресурсов априори недостаточно, и нужно масштабироваться?
Читал эту статью: https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html
Стоит ли повысить heap size (сейчас у меня он 31g) до 100g например - и поставить indices.memory.index_buffer_size на 50%? Или так не будет работать? Какие есть еще рекомендации как повысить скорость индексирования?