Высокая утилизация ресурсов при сообщениях в логе: moving index и update_mapping

Добрый день!

Иногда в течение дня наблюдается очень высокая утилизация ресурсов - при 40 ядрах CPU утилизация становится с обычной 50%-60% в 99% и LA - 70-90 при обычном LA - в 18-25

в логах в это время массово идут сообщения подобные:

[2021-04-15T18:37:30,638][INFO ][o.e.c.m.MetadataMappingService] [node] [index_0-2021.04.15-000446/Yij7zFOwSt25i45erzTi8w] update_mapping [_doc]

[2021-04-15T18:37:36,965][INFO ][o.e.x.i.IndexLifecycleTransition] [node] moving index [index_1-2021.04.14-000342] from [{"phase":"hot","action":"rollover","name":"wait-for-active-shards"}] to [{"phase":"hot","action":"rollover","name":"update-rollover-lifecycle-date"}] in policy [ilm-policy-lowrate]

[2021-04-15T19:07:30,065][INFO ][o.e.x.i.IndexLifecycleTransition] [node] moving index [index_2-2021.04.14-000135] from [{"phase":"hot","action":"rollover","name":"update-rollover-lifecycle-date"}] to [{"phase":"hot","action":"rollover","name":"set-indexing-complete"}] in policy [logstash-policy]

node - выбранный мастер и логи с него. но ресурсы почти одинаково утилизируются на всех нодах.

Как я понимаю, в какое-то определенное время ILM идет и одновременно закрывает старые/создает новые индексы - все в одно время, и ресурсы тратятся на это. Есть ли какая-то возможность избавиться от этой проблемы, тем более это происходит порой в пиковые часы нагрузки кластера, что вызывает долгие респонсы для приложений и пользователей.

Всего в кластере 7 нод, роли не выделены - каждая является и дата, и мастером.

Версия - 7.11.2

политики ILM - несложные, hot-warm нет (просто всем нодам проставлен аттрибут "hot" на будущее, если такую архитектуру придется внедрять)

политики - роллинг 250 гб или 1 день, удаление от 1 до 14 дней, реплик у индексов нет.

Подниму с вашего позволения, проблема остается.

К сожаление, производить rollover в определенное время пока не возможно. Можно только поставить большие значения для rollover и делать это вручную. Хотелось бы узнать из-за чего нагрузка поднимается. Вы в следующий раз результат hot_threads во время высокой нагрузки не пришлете и еще один результат во время низкой нагрузки для сравнения.

1 Like