# Агрессивный merge сегментов ES **URL:** \ **Category:** Вопросы на русском языке\ **Created:** [March 10, 2021, 3:10pm UTC](https://discuss.elastic.co/t/merge-es/266829 "2021-03-10T15:10:40Z")\ **Posts on this page:** 5\ **Page:** 1
**Author:** ![GreenX](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/greenx/32/51751_2.png) [@GreenX](https://discuss.elastic.co/u/GreenX)\ **Post date:** [March 10, 2021, 3:10pm UTC](https://discuss.elastic.co/t/merge-es/266829/1 "2021-03-10T15:10:40Z")
День добрый! [В продолжение темы про "НЕ идеальный" подсчет \_score:](https://discuss.elastic.co/t/dfs-query-then-fetch/262474) Я попробовал настроить более агрессивный merge в ES, но не особо получилось. Из всех крутилов в: `https://github.com/elastic/elasticsearch/blob/7.10/server/src/main/java/org/elasticsearch/index/MergePolicyConfig.java` - Самой эффективной оказалась`index.merge.policy.segments_per_tier`. Как только в шарде больше сегментов - работает merge. Относительно её правится `max_merge_at_once`. Но, как то медленно ввод/вывод идет, как будьто еще IO scheduler для этих операций есть, который я не нашел. - `index.merge.policy.expunge_deletes_allowed` похоже рабратает только при вызове ``\_forcemerge`?only_expunge_deletes=true` - `index.merge.policy.deletes_pct_allowed` меньше 20% не задать, а 20% от нескольких ТБ много. - `index.merge.policy.reclaim_deletes_weight` вообще выпилили - Ради интереса ставил`"index.merge.policy.floor_segment": "1b"`, чтобы склеивались и самые маленькие шарды - не сработало 🙂 И самый главный фатальный недостаток - [MergePolicy](https://lucene.apache.org/core/8_7_0/core/org/apache/lucene/index/MergePolicy.html) походе вызывается только из [IndexWriter](https://lucene.apache.org/core/8_7_0/core/org/apache/lucene/index/IndexWriter.html). Т.е. если индекс постепенно остывает и становится только для чтения(поиска) нет шансов, что удаленные документы когда то удалятся на самом деле их число сравняется (или будет близким) и `_score` будет считаться правильно. (индекс обновляется периодичеки, сильно, но редко). Пока у меня только один вариант: периодически cron-ом вызывать `_forcemerge`, если ElasticSearch сам этого не делает. Поправте меня, если я ошибаюсь и есть нормальное решение. P.S. идеальный `_score` получается если количество помеченных на удаление документов совпадает во всех шардах и репликах. А посколько это процесс ассинхронный, то это число ноль! ---
**Author:** ![Igor\_Motov](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/igor_motov/32/45193_2.png) [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)\ **Post date:** [March 10, 2021, 3:42pm UTC](https://discuss.elastic.co/t/merge-es/266829/2 "2021-03-10T15:42:06Z")
> [@GreenX](#): > > Т.е. если индекс постепенно остывает и становится только для чтения(поиска) нет шансов, что удаленные документы когда то удалятся на самом деле их число сравняется (или будет близким) и `_score` будет считаться правильно. (индекс обновляется периодичеки, сильно, но редко). Это процесс можно [автоматизировать](https://www.elastic.co/guide/en/elasticsearch/reference/current/ilm-forcemerge.html). ---
**Author:** ![GreenX](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/greenx/32/51751_2.png) [@GreenX](https://discuss.elastic.co/u/GreenX)\ **Post date:** [March 10, 2021, 5:02pm UTC](https://discuss.elastic.co/t/merge-es/266829/3 "2021-03-10T17:02:44Z")
Спасибо, понял. У нас исторически сложилось, что на OSS версии сидим, поэтому не вкурсе всех возможностей X-pack Не пригципиально, но нам пока хватало. Решалось так: ```auto # cat /etc/cron.d/elastic_cleanup 0 0 * * sun elasticsearch sleep ${RANDOM:0:2}m ; curl -s http://localhost:9200/_cat/tasks|fgrep forcemerge || curl -s http://localhost:9200/_all/_forcemerge?max_num_segments=1 -XPOST ``` Вернее так, в своё время меня насторожило, что X-pack открыли, но как то странно, под другой лицензхией, в роли плагина, тогда мы и перешли на OSS. ---
**Author:** ![GreenX](https://sea2.discourse-cdn.com/elastic/user_avatar/discuss.elastic.co/greenx/32/51751_2.png) [@GreenX](https://discuss.elastic.co/u/GreenX)\ **Post date:** [March 11, 2021, 6:14am UTC](https://discuss.elastic.co/t/merge-es/266829/4 "2021-03-11T06:14:34Z")
Еще раз подумал. Всё-таки странно, но эта пришлёпка где то отдельно в X-pack, а не в базе. Старнно, что сам Эластик, если стоит и ничего не делает потихоньку не прибирается в индексах. ---
**Author:** ![system](https://us1.discourse-cdn.com/elastic/original/3X/1/a/1ac57faf039f6b580b3f104ef42a2a89e41014de.png) [@system](https://discuss.elastic.co/u/system)\ **Post date:** [April 8, 2021, 6:15am UTC](https://discuss.elastic.co/t/merge-es/266829/5 "2021-04-08T06:15:22Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.