Зависание и последующее падение сервера elasticsearch

Elastic In Your Native Tongue Вопросы на русском языке
1

Здравствуйте. Я добавил в своё rails приложение
gem 'elasticsearch-model'
gem 'elasticsearch-rails'.
Настроил согласно инструкции, поиск работает. Но, постоянно при старте поиска идёт жуткое подвисание всей системы и после стоп сервиса elastic 9200. Приходиться делать restart. Иногда система не оживает. Проект учебный, всего поиск идёт по 15 записям. Оперативная память в размере 1гб свободна. Попытался в момент начала зависания, когда ещё что-то можно сделать взять логи с _nodes/stats logs

2

А что в логах elasticsearch?

3

Извините, я новичок. А как их посмотреть?)

4

Запустите команду GET /_nodes/settings. Вы получите назад что-то вроде:

{
  "_nodes" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "cluster_name":"elasticsearch",
  "nodes" : {
    "4irbd1T5TZqb03W9rGp3WQ" : {
      "name" : "...",
      ...
      "settings" : {
         ...
        "path" : {
          "logs" : "/usr/share/elasticsearch/logs",      <-- Логи должны быть тут 
         ...
        },
        "discovery" : {
        ...

Интересует тот, который называется elasticsearch.log

5

вроде эти логи

6

Похоже, что кто-то elasticsearch из вне прибивает. Может OOMKiller безобразничает. Сколько всего памяти на сервере и что там еще запущено?

7

вот скрин из диспетчера https://i.imgur.com/YMbJQeF.png Запущен ide rubymine и mozilla. Система ubuntu на виртуальной машине.

8

Да. Скорее всего OOMKiller мешается. Попробуйте запустить с 512m. Задать память можно в файле jvm.options:

-Xms512m
-Xmx512m
9

вроде положительный результат есть, уже 20 минут ничего не виснет. Спасибо за помощь.

10

Теперь у меня новая проблема в тестовом окружении. Мои тесты не работают. При создании экземпляра модели gem Factory_bot_rails, ошибка ``` Failure/Error: let(:post) { FactoryBot.create :post, user: user }

 Elasticsearch::Transport::Transport::Errors::Forbidden:
   [403] {"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"}],"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"},"status":403}

Я попытался добавить создание и рефреш индексов в тесты let(:user) { FactoryBot.create :user }
let(:post) { FactoryBot.create :post, user: user }
Post.elasticsearch.create_index!
Post.elasticsearch.refresh_index! ``` но это не изменило ничего

11

У вас права доступа на кластере настроены?

12

не могу сказать, а как можно проверить? я сам ничего не настраивал.

13

Вы вручную, через curl или kibana без введения пароля можете какой-нибудь индекс создать?

14

сейчас попробовал создать, не вышло. Хотя до этого всё создавалось без проблем. Ошибка [403] {"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"}],"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"},"status":403}

15

сейчас попробовал создать, не вышло. Хотя до этого всё создавалось без проблем.

Тогда скорее всего у вас это происходит потому, что у вас диски на сервере переполнились. Когда диски наполняются больше чем на 95%, elasticsearch устанавливает этот блок, чтобы предотвратить полное исчерпание дискового пространства. Надо либо диски добавить, либо данные почистить.

16

я добавил сегодня, а как мне сейчас перезапустить это всё? чтобы они опять стали доступны

17

вы путь поменяли к данным? если да - то надо elasticsearch перезапустить

18

нет пути не менял. Сделал сейчас sudo service elasticsearch stop и потом start. Попробовал создать индекс, не работает.

19

Если вы пути не меняли, то как вы размер доступного дискового пространства увеличили?

20

я с виртуальной машины запускаю ubuntu, на ней уже стоит elastic.)) Я в параметрах виртуальной машины добавил дискового пространства и проверил уже в ubunte. Размер увеличился.