Добрый день!
Иногда в течение дня наблюдается очень высокая утилизация ресурсов - при 40 ядрах CPU утилизация становится с обычной 50%-60% в 99% и LA - 70-90 при обычном LA - в 18-25
в логах в это время массово идут сообщения подобные:
[2021-04-15T18:37:30,638][INFO ][o.e.c.m.MetadataMappingService] [node] [index_0-2021.04.15-000446/Yij7zFOwSt25i45erzTi8w] update_mapping [_doc]
[2021-04-15T18:37:36,965][INFO ][o.e.x.i.IndexLifecycleTransition] [node] moving index [index_1-2021.04.14-000342] from [{"phase":"hot","action":"rollover","name":"wait-for-active-shards"}] to [{"phase":"hot","action":"rollover","name":"update-rollover-lifecycle-date"}] in policy [ilm-policy-lowrate]
[2021-04-15T19:07:30,065][INFO ][o.e.x.i.IndexLifecycleTransition] [node] moving index [index_2-2021.04.14-000135] from [{"phase":"hot","action":"rollover","name":"update-rollover-lifecycle-date"}] to [{"phase":"hot","action":"rollover","name":"set-indexing-complete"}] in policy [logstash-policy]
node - выбранный мастер и логи с него. но ресурсы почти одинаково утилизируются на всех нодах.
Как я понимаю, в какое-то определенное время ILM идет и одновременно закрывает старые/создает новые индексы - все в одно время, и ресурсы тратятся на это. Есть ли какая-то возможность избавиться от этой проблемы, тем более это происходит порой в пиковые часы нагрузки кластера, что вызывает долгие респонсы для приложений и пользователей.
Всего в кластере 7 нод, роли не выделены - каждая является и дата, и мастером.
Версия - 7.11.2
политики ILM - несложные, hot-warm нет (просто всем нодам проставлен аттрибут "hot" на будущее, если такую архитектуру придется внедрять)
политики - роллинг 250 гб или 1 день, удаление от 1 до 14 дней, реплик у индексов нет.