Snapshot restore from azure storage hangs


(Илья Четверкин) #1

Игорь, здравствуйте!

У меня в azure storage лежит несколько snapshots. Когда пытаюсь восстановить на новую машину, то через некоторое время процесс повисает и прогресс не идет. смотрю через localhost:9200/_cat/recovery?v

В логе тоже пусто. Подскажите, куда еще посмотреть чтобы выяснить в чем дело?

Каждый раз зависает на разном этапе. Иногда даже несколько шард полностью скачивается.


(Igor Motov) #2

А вы сколько ждали? Может просто большие файлы перекачиваются? Статистика обновляется после каждого файла, поэтому если большой сегмент перекачивается, то может казаться, что все повисло?

Если дело не в больших файлах. то поставьте логгер index.snapshots.blobstore в TRACE и пришлите логи со всех нод.


(Илья Четверкин) #3

Игорь,

Я пытаюсь развернуть два индекса из бекапа всего на кластере из 1 ноды.
Версия эластика 1.5.0

Не похоже, что дело в размере файлов. Я ждал пару суток.

Лог прикладываю https://yadi.sk/d/guj7wfsvhxqT2 , но он большой если разархивировать.

Спасибо!


(Igor Motov) #4

А версия плагина какая? И какие версии использовались, что бы сделать этот бекап?


(Илья Четверкин) #5

Сейчас 2.6.1, которая соответствует 1.5.

Бэкапы делались давно. Версия эластика где-то между 1.0 и 1.2. Версия плагина была соответствующая из таблицы. Может быть что старые бекапы не поддерживаются?


(Igor Motov) #6

Спасибо за логи. Похоже, что это баг - https://github.com/elastic/elasticsearch-cloud-azure/issues/51 Одному из наших разработчиков сегодня удалось воспроизвести эту проблему, и он работает в данный момент над ее исправлением. Как только будет дополнительная информация, я сообщу.


(Igor Motov) #7

А вы пытаетесь восстановить самый последний снепшот или какой-то из середины?


(Илья Четверкин) #8

Самый первый. Но для этих индексов больше нет снапшотов. Судя по всему этот баг с марта не двигается. Стоит ли полагать, что в ближайшее время что-то измениться?

Спасибо!


(Igor Motov) #9

Первый это как? То есть сделать снепшот, потом индекс удалили, а потом еще сделали снепшоты но уже без этого индекса?

Как я уже сказал сегодня удалось проблему воспроизвести. Так что должны исправить на днях


(Илья Четверкин) #10

Да, вы верно поняли. Именно так.

Понял, буду ждать!


(Igor Motov) #11

Починили - https://github.com/elastic/elasticsearch/pull/12380


(Илья Четверкин) #12

Спасибо!

Сейчас либо собирать из сорцов, либо ждать следующий релиз, верно?


(Igor Motov) #13

Да. Только следующий релиз будет не раньше следующей недели. Так что если вам срочно - то собирайте.


(Илья Четверкин) #14

Игорь, насколько я вижу в 1.7 этого еще нет?


(Igor Motov) #15

Пока нет


(Igor Motov) #16

Выпустили - [ANN] Elasticsearch Azure cloud plugin 2.8.1 & 2.7.1 released


(Илья Четверкин) #17

Спасибо!


(Илья Четверкин) #18

Игорь, похоже проблема полностью не решилась.

Лог здесь https://yadi.sk/d/HlrN2CAJiKCxN

Я поставил 2.7.1 и соответствующий плагин.

На этот раз 4 шарды из 5 получилось поднять.


(Igor Motov) #19

Вы не могли бы описать подробнее что вы сделали? Вы создали новый репозиторий и сделали новый снепшот, или вы пытаетесь восстановить снепшот сделаный, старой версией плагина?


(Илья Четверкин) #20

Пытаюсь восстановить снепшот сделанный старой версией плагина и эластика. Репозиторий тот же, что и изначально и снепшот тоже.

Восстановить пытаюсь с последней версии, про которую написал выше.