Кластер высокой доступности из 4 ElasticSearch, 4 Logstash, 1 Kibana и 1 Grafana

Elastic In Your Native Tongue Вопросы на русском языке
1

Добрый день.
Собрал кластер (для сбора логов всех систем организации) из вышеперечисленного (четыре ноды Elasticsearch, четыре ноды Logstash, одна нода Kibana и одна нода Grafana) на одном высокопроизводительном физическом сервере в ProxMox.
У индексов 1 шард и 3 реплики (может неправильно, подскажите и по этому вопросу)
"number_of_shards": "1",
"number_of_replicas": "3"
Основной вопрос: как сделать это кластер высокодоступным???
Т.е. если ляжет одна нода ES, то Logstash, отправляющий на нее логи просто будет отправлять в никуда. Кибана то да, поймет это и продолжит работать, старые логи останутся доступными, но новые именно на эту ноду не придут.
Далее - если ляжет одна из нод Logstash - в Битах у меня прописано "loadbalance: false", и указаны айпи всех нод Logstash, т.е. ляжет одна - перенаправит на другую. Вроде ОК.
НО, а как быть с сетевым оборудованием в случае падения ноды Logstash? Оно умеет отправлять только на один айпи.

Ну вот такая ситуация. Вообще возможно это средствами ELK или вы что-то другое используете для этого?
Кибана используется только для настройки ELK, вся визуализация в графане.
Grafana тоже, кстати, не умеет балансировать, у ней только один айпи можно указать. Как вы это обходите?
Мой опыт работы с Linux - продвинутый пользователь Ubuntu/Debian/AltLinux.

2

Подскажете по данному вопросу?

3

Для чего 4 ноды эластика? Можно было бы сделать и 3. Но пусть будет 4

Шарды и реплики правильнее было бы выставить так:

"number_of_shards": "4", (по количеству нод)
"number_of_replicas": "1"

logstash умеет отправлять в множество айпишников, в множество различный дестинейшнов даже внутри одного пайплайна.

Вопросы по grafana думаю лучше задать в сообществе grafana.

4

как сделать это кластер высокодоступным???

Т.е. если ляжет одна нода ES, то Logstash, отправляющий на нее логи просто будет отправлять в никуда.

Почему-бы не добавить несколько

если ляжет одна из нод Logstash - в Битах у меня прописано "loadbalance: false", и указаны айпи всех нод Logstash, т.е. ляжет одна - перенаправит на другую.

Почему-бы не включить loadbalancing?

Grafana тоже, кстати, не умеет балансировать, у ней только один айпи можно указать. Как вы это обходите?

Пока никак, посмотрите некоторые идеи в [Feature request] Support multiple elasticsearch nodes · Issue #8170 · grafana/grafana · GitHub

5

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.