Snapshot restore from azure storage hangs

Elastic In Your Native Tongue Вопросы на русском языке
1

Игорь, здравствуйте!

У меня в azure storage лежит несколько snapshots. Когда пытаюсь восстановить на новую машину, то через некоторое время процесс повисает и прогресс не идет. смотрю через localhost:9200/_cat/recovery?v

В логе тоже пусто. Подскажите, куда еще посмотреть чтобы выяснить в чем дело?

Каждый раз зависает на разном этапе. Иногда даже несколько шард полностью скачивается.

2

А вы сколько ждали? Может просто большие файлы перекачиваются? Статистика обновляется после каждого файла, поэтому если большой сегмент перекачивается, то может казаться, что все повисло?

Если дело не в больших файлах. то поставьте логгер index.snapshots.blobstore в TRACE и пришлите логи со всех нод.

3

Игорь,

Я пытаюсь развернуть два индекса из бекапа всего на кластере из 1 ноды.
Версия эластика 1.5.0

Не похоже, что дело в размере файлов. Я ждал пару суток.

Лог прикладываю https://yadi.sk/d/guj7wfsvhxqT2 , но он большой если разархивировать.

Спасибо!

4

А версия плагина какая? И какие версии использовались, что бы сделать этот бекап?

5

Сейчас 2.6.1, которая соответствует 1.5.

Бэкапы делались давно. Версия эластика где-то между 1.0 и 1.2. Версия плагина была соответствующая из таблицы. Может быть что старые бекапы не поддерживаются?

6

Спасибо за логи. Похоже, что это баг - https://github.com/elastic/elasticsearch-cloud-azure/issues/51 Одному из наших разработчиков сегодня удалось воспроизвести эту проблему, и он работает в данный момент над ее исправлением. Как только будет дополнительная информация, я сообщу.

7

А вы пытаетесь восстановить самый последний снепшот или какой-то из середины?

8

Самый первый. Но для этих индексов больше нет снапшотов. Судя по всему этот баг с марта не двигается. Стоит ли полагать, что в ближайшее время что-то измениться?

Спасибо!

9

Первый это как? То есть сделать снепшот, потом индекс удалили, а потом еще сделали снепшоты но уже без этого индекса?

Как я уже сказал сегодня удалось проблему воспроизвести. Так что должны исправить на днях

10

Да, вы верно поняли. Именно так.

Понял, буду ждать!

11

Починили - https://github.com/elastic/elasticsearch/pull/12380

12

Спасибо!

Сейчас либо собирать из сорцов, либо ждать следующий релиз, верно?

13

Да. Только следующий релиз будет не раньше следующей недели. Так что если вам срочно - то собирайте.

14

Игорь, насколько я вижу в 1.7 этого еще нет?

15

Пока нет

16

Выпустили - [ANN] Elasticsearch Azure cloud plugin 2.8.1 & 2.7.1 released

17

Спасибо!

18

Игорь, похоже проблема полностью не решилась.

Лог здесь https://yadi.sk/d/HlrN2CAJiKCxN

Я поставил 2.7.1 и соответствующий плагин.

На этот раз 4 шарды из 5 получилось поднять.

19

Вы не могли бы описать подробнее что вы сделали? Вы создали новый репозиторий и сделали новый снепшот, или вы пытаетесь восстановить снепшот сделаный, старой версией плагина?

20

Пытаюсь восстановить снепшот сделанный старой версией плагина и эластика. Репозиторий тот же, что и изначально и снепшот тоже.

Восстановить пытаюсь с последней версии, про которую написал выше.