# Проблема GC на нодах-координаторах **URL:** \ **Category:** Вопросы на русском языке\ **Created:** [October 15, 2020, 8:15pm UTC](https://discuss.elastic.co/t/gc/252266 "2020-10-15T20:15:26Z")\ **Posts on this page:** 5\ **Page:** 1
**Author:** ![ans\_x](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ans_x/32/77295_2.png) [@ans\_x](https://discuss.elastic.co/u/ans_x)\ **Post date:** [October 15, 2020, 8:15pm UTC](https://discuss.elastic.co/t/gc/252266/1 "2020-10-15T20:15:26Z")
Версия кластера 7.8.1 Версия ES на коордиаторах 7.9.2 (обновляли вместе с новой java) Java: openjdk 15 2020-09-15 ES в докере. Конфиг ES тут: [Config ES](https://gist.github.com/ansalon282/ac86365d01df426b1ff9ec3e8ce28dc5) Конфиг JVM тут: [Config JVM](https://gist.github.com/ansalon282/61f0e02a52068685864a45386481d0d0) Вывод GET \_cluster/stats тут: [cluster stats](https://gist.github.com/ansalon282/e475a6960c0d579452e62b7b61d023c6) В логах на коордиатор-нодах GC постоянно спамит очисткой мусора, не смотря на это, запросы принимаются, функционирование кластера стабильное: ``` {"type": "server", "timestamp": "2020-10-15T22:53:45,795+03:00", "level": "WARN", "component": "o.e.m.j.JvmGcMonitorService", "cluster.name": "mflogs", "node.name": "XXX", "message": "[gc][2265] overhead, spent [4s] collecting in the last [1s]", "cluster.uuid": "gvRVyLBpSEy4H9AmJzIMKw", "node.id": "8-gigf8ZT5iMyhzmnVDcDw" } {"type": "server", "timestamp": "2020-10-15T22:53:50,818+03:00", "level": "WARN", "component": "o.e.m.j.JvmGcMonitorService", "cluster.name": "mflogs", "node.name": "XXX", "message": "[gc][2270] overhead, spent [1.9s] collecting in the last [1s]", "cluster.uuid": "gvRVyLBpSEy4H9AmJzIMKw", "node.id": "8-gigf8ZT5iMyhzmnVDcDw" } {"type": "server", "timestamp": "2020-10-15T22:54:06,824+03:00", "level": "WARN", "component": "o.e.m.j.JvmGcMonitorService", "cluster.name": "mflogs", "node.name": "XXX", "message": "[gc][2286] overhead, spent [1.9s] collecting in the last [1s]", "cluster.uuid": "gvRVyLBpSEy4H9AmJzIMKw", "node.id": "8-gigf8ZT5iMyhzmnVDcDw" } ``` Однако наблюдается проблема с Кибаной, хосты которой смотрят на координаторы. Кибана не видит связи с ES: > {"type":"response","@timestamp":"2020-10-14T07:54:50Z","tags":,"pid":6,"method":"get","statusCode":200,"req":{"url":"/login?next=%2F","method":"get","headers":{"connection":"upgrade","host":"[kibana.prod.ru](http://kibana.prod.ru)","user-agent":"nginx/1.13.10 (health check elkOk)"},"remoteAddress":"10.99.202.21","userAgent":"10.99.202.21"},"res":{"statusCode":200,"responseTime":90,"contentLength":9},"message":"GET /login?next=%2F 200 90ms - 9.0B"} > {"type":"log","@timestamp":"2020-10-14T07:54:50Z","tags":["warning","plugins","licensing"],"pid":6,"message":"License information could not be obtained from Elasticsearch due to Error: Request Timeout after 60000ms error"} Хосты кибаны временно пришлось переключить на мастера. Я правильно понимаю, что проблема с коннектом связана с GC? Вопрос, в чем может заключаться проблема утилизации памяти на координаторах? ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [October 16, 2020, 4:23pm UTC](https://discuss.elastic.co/t/gc/252266/2 "2020-10-16T16:23:56Z")
Прежде всего, я бы не рекомендовал мешать разные версии. Особенно иметь более новые ноды координации, как долгосрочное решение. Обновление должно происходить, как можно быстрее. Во-вторых, elasticsearch не поддерживает Shenandoah GC и мы не тестируем с этими установками. Поэтому если там что-то сломано, то мы об этом не знаем. > [@ans\_x](#): > > В логах на коордиатор-нодах GC постоянно спамит очисткой мусора, Спам, который вы видете, вполне может быть результат неправильной интерпретации статистики или баг. > [@ans\_x](#): > > Я правильно понимаю, что проблема с коннектом связана с GC? Не факт. Нужно смотреть в логи мастера и узлов координации. Скорее всего нет. > [@ans\_x](#): > > Вопрос, в чем может заключаться проблема утилизации памяти на координаторах? Вполне возможно, что памяти слишком мало, либо... слишком много и мусор накапливается слишком долго а потом вызывает задержки при сборе. Но, скорее всего, с памятью все нормально, просто elasticsearch неправильно работает с Shenandoah GC. Как я уже сказал, мы в таком режиме elasticsearch не тестируем, так что Вы тут в неизведанной территории. Пришлите полный лог узлов координации после перезагрузки и логов мастера на момент перезагрузки узла координации - будем разбираться. ---
**Author:** ![ans\_x](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/ans_x/32/77295_2.png) [@ans\_x](https://discuss.elastic.co/u/ans_x)\ **Post date:** [October 27, 2020, 12:10pm UTC](https://discuss.elastic.co/t/gc/252266/3 "2020-10-27T12:10:57Z")
Вот полный лог с координатора [full logs](https://gist.github.com/ansalon282/04d21054429a15296fe17a3f04ce4e81) Версию координаторов откатили до версии кластера, на 7.8.1. ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [October 27, 2020, 5:51pm UTC](https://discuss.elastic.co/t/gc/252266/4 "2020-10-27T17:51:34Z")
Судя по этому логу, этому узлу не хватило памяти. Так что либо какие-то утечки, либо слишком много больших запросов пришло одновременно на этот узел. ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [November 24, 2020, 5:51pm UTC](https://discuss.elastic.co/t/gc/252266/5 "2020-11-24T17:51:36Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.