# Lucene Merge Thread в hot threads **URL:** \ **Category:** Вопросы на русском языке\ **Created:** [July 18, 2019, 9:26am UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169 "2019-07-18T09:26:17Z")\ **Posts on this page:** 20\ **Page:** 2
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 7, 2019, 3:16pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/21 "2019-08-07T15:16:05Z")
У человека такая же ситуация: [[6.8.2] Unusual Server Load](https://discuss.elastic.co/t/6-8-2-unusual-server-load/194153) ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 13, 2019, 10:48am UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/22 "2019-08-13T10:48:00Z")
Проанализировал разницу между нагрузкой на нодах. CPU и диски загружены одинаково. Раница существенная в Load Average и Context switсhes. На высоконагруженной ноде всё в среднем в 2-2.5 раза больше. Могу прислать hotthreads со всех нод ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [August 13, 2019, 1:54pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/23 "2019-08-13T13:54:47Z")
Присылайте, посмотрим. ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 20, 2019, 1:24pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/24 "2019-08-20T13:24:44Z")
Hot threads(hot\_threads?threads=9999) для всех нод: node00 [https://gist.github.com/UkrZilla/712778936148e697a156d13086504931](https://gist.github.com/UkrZilla/712778936148e697a156d13086504931) node01 [https://gist.github.com/UkrZilla/a72e39456acdf5024bcc7d9529318878](https://gist.github.com/UkrZilla/a72e39456acdf5024bcc7d9529318878) node02 [https://gist.github.com/UkrZilla/607ac7f8475068d4e0941c9dac57907f](https://gist.github.com/UkrZilla/607ac7f8475068d4e0941c9dac57907f) node03 [https://gist.github.com/UkrZilla/c606d7b7bf469c61abfd349d9a579aff](https://gist.github.com/UkrZilla/c606d7b7bf469c61abfd349d9a579aff) node04 [https://gist.github.com/UkrZilla/56fea57082e788ccc311b80f6bc0c91f](https://gist.github.com/UkrZilla/56fea57082e788ccc311b80f6bc0c91f) node05 [https://gist.github.com/UkrZilla/29202c6ef0095ba79f8548559534669b](https://gist.github.com/UkrZilla/29202c6ef0095ba79f8548559534669b) node06 [https://gist.github.com/UkrZilla/d2d6b5de1de7f7f273ea56208bb625fa](https://gist.github.com/UkrZilla/d2d6b5de1de7f7f273ea56208bb625fa) ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 20, 2019, 1:27pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/25 "2019-08-20T13:27:59Z")
Высоконагруженная нода: node04 - Load Average на графике красным ![image](https://us1.discourse-cdn.com/elastic/original/3X/e/d/edf95fe83e447291b8a1f32df3f9b454f3b8ac44.png) ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [August 21, 2019, 12:41pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/26 "2019-08-21T12:41:37Z")
Как у вас распределены шарды индекса `gameplay.raid.globalevents_201908_1`? ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 21, 2019, 1:12pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/27 "2019-08-21T13:12:44Z")
Извиняюсь что картинкой ![image](https://us1.discourse-cdn.com/elastic/original/3X/8/6/86f5e1c1d45ccdc493035b93067c267b35d8a398.png) ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [August 21, 2019, 3:52pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/28 "2019-08-21T15:52:31Z")
Странно, нагрузка в основном наблюдается от операции merge на этом индексе. Но вроде он нормально распределен. Это физическое железо или виртуалки? ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [August 22, 2019, 7:32am UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/29 "2019-08-22T07:32:13Z")
Довольно мощное железо. Хм, отключили запись этого лога и вот что получилось. И это уже более менее приемлимо. Кстати `globalevents_201908_1` - индекс в который на тот момент не велась запись. 1 - номер недели с 0 ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/0/108a85eb80eb2a4f72720c5fe3ebce017bf23e69.png) ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 12, 2019, 6:34pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/30 "2019-09-12T18:34:26Z")
Прошла неделя с более приемлимой нагрузкой. Создались новые недельные и ндексы и ситуация опять повторяется. На скриншоте load average по нодам. И опять же нода с большей нагрузкой почему-то мёржит инексы, хотя другие ноды это успевают быстрее сделать Что мне ещё предоставить? ![image](https://us1.discourse-cdn.com/elastic/original/3X/f/f/ffb94e7c0546f0123fd358710f98cf016227eed1.png) Постараемся обновиться до 7-ки в начале следующей недели, но не думаю что этот баг там пофиксили. Иначе бы выпустили версию и для 6-ки с багфиксом Насколько я понимаю это связано с огромными размерами наших нард Спасибо ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [September 12, 2019, 6:50pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/31 "2019-09-12T18:50:00Z")
> [@Denis\_Lamanov](#): > > Иначе бы выпустили версию и для 6-ки с багфиксом Это далеко не факт, я не помню чтобы какие-то сообщения пробегали о том, что это широко-распространненая проблема, и к безопасность она никакого отношения не имеет. Так что если что-то и улучшили, то могли в 6-ку не добавить. ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 12, 2019, 6:51pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/32 "2019-09-12T18:51:31Z")
Да, у нас не типичный случай) Тогда обновляемся в понедельник на 7.3.2 Сообщу о результатах ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 14, 2019, 9:21am UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/33 "2019-09-14T09:21:18Z")
Заметил, что у ноды с большей нагрузкой всегда открыто на пару тысяч файлов меньше ![image](https://us1.discourse-cdn.com/elastic/original/3X/1/6/16a470e19263d3ce8671ccb8c3f8e646983876b1.png) Раз нагрузка в merge, то может сделать шарды поменьше сделав индексы дневными? ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [September 16, 2019, 12:54pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/34 "2019-09-16T12:54:04Z")
Вы пытались анализировать распределение шард и смотреть какой индекс вызывает такое поведение. ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 16, 2019, 1:43pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/35 "2019-09-16T13:43:02Z")
Как и в прошлый раз - все шарды равномерно распределены по нодам. Индексов несколько и они самые большие. Такое ощущение, что нода ведёт себя как будто вручную на индексах запустили merge, но только на одной ноде. Включил ежедневное создание индексов и сервис начал писать в новые индексы, но та нода продолжает делать merge индексов в которые уже не идёт запись ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 17, 2019, 11:15am UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/36 "2019-09-17T11:15:09Z")
Перевод двух самых больших индексов на дневные дал свой эффект ![image](https://us1.discourse-cdn.com/elastic/original/3X/0/d/0d2487e42278ba334a4caad0d2c522d1fb73c848.png) Но всё равно обновляемся до 7-ки ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [September 17, 2019, 12:49pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/37 "2019-09-17T12:49:58Z")
Забавно. А у вас там какой-нибудь curator или ILM не настроен старые индексы до одного сегмента сливать? ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 17, 2019, 1:46pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/38 "2019-09-17T13:46:59Z")
Тоже думал так, очень похоже. Когда-то делали forcemerge, но на таких объёмах это делать бесполезно: занимает много места и памяти. В ILM нет ни одной policy. Curator не используем ---
**Author:** ![Denis\_Lamanov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/denis_lamanov/32/13111_2.png) [@Denis\_Lamanov](https://discuss.elastic.co/u/Denis_Lamanov)\ **Post date:** [September 29, 2019, 5:41pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/39 "2019-09-29T17:41:36Z")
Перешли на 7.3. Все баги полечились. Скорость индексации увеличилась. Нагрузка на кластер уменьшилась и нет перекосов Теперь Load Average такой: ![image](https://us1.discourse-cdn.com/elastic/original/3X/b/e/be71ae86083b154a7ebbb0d6ea9e0d65c94965b1.png) ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [October 27, 2019, 5:41pm UTC](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169/40 "2019-10-27T17:41:38Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed. [Previous page](https://discuss.elastic.co/t/lucene-merge-thread-hot-threads/191169.md?page=1)