Правильная последовательность разворачивания elastic


(manst) #1

Здравствуйте. В тестовых целях интересна правильная последовательность разворачивания эластика , правильно ли я мыслю:

Сразу создается одна нода - она и мастер и дата, потом логсташ с кибаной и с файлбита на логсташ отправляем данные.

----сам же и буду отвечать на вопросы, Как оказалось , можно сразу и не одну ноду создавать(наиболее правильно иметь минимум 3 ноды), но в случае установки x-pack можно долго мучаться с ошибками типа 404 и error unknown
Connection failure to: http://ip:9200/_xpack/security/user/kibana/_password?pretty failed: Read timed out
Unexpected response code [404] from calling GET http://ip:9200/_xpack/security/_authenticate?pretty
Possible causes include:
* The relative path of the URL is incorrect. Is there a proxy in-between?
* The protocol (http/https) does not match the port.
* Is this really an Elasticsearch server?
ERROR: Uknown error

/usr/share/elasticsearch/bin/x-pack# ./setup-passwords interactive
Initiating the setup of passwords for reserved users elastic,kibana,logstash_system.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y

Enter password for [elastic]:
Reenter password for [elastic]:
Enter password for [kibana]:
Reenter password for [kibana]:
Enter password for [logstash_system]:
Reenter password for [logstash_system]:

Connection failure to: http://172.20.73.138:9200/_xpack/security/user/kibana/_password?pretty failed: Read timed out
ERROR: Failed to set password for user [kibana].

вот последовательность в этом посте помогла решить проблему

Install a single ES node.
Install X-Pack on that node.
Run setup-passwords on that node.
Add additional nodes (ES + X-Pack).
Enable TLS for node transport.
Enable TLS for HTTP.
Unable to run set-password in 6.x

процесс "почкования"-добавления нод в вышеуказанном случае лучше делать потом


(Igor Motov) #2

Посмотрите The Definitive Guide. Если после прочтения будут конкретные вопросы, спрашивайте.


(manst) #3

к сожалению я там своего варианта не увидел....


(Igor Motov) #4

к сожалению я там своего варианта не увидел....

Какого варианта? Я не очень понимаю какую проблему вы пытаетесь решить.


(manst) #5

варианта, имеет ли мое видение создания примитивного кластера на жизнь, 2 варианта я в первом посте описал

и что меня смущает, разворачиваю на виртуалбоксе , всего 8 оперативки и жава уже начинает ругаться и не стартовать ни кибану , ни логсtаш, пока виртуалкам не поднял оперативку до 2х гб...
будут ли какие рекомендации как все таки на такой слабой тестовой площадке развернуть все это ?


(Igor Motov) #6

Какую проблему вы пытаетесь решить? Зачем вам несколько нод, если все работает на одной физической машине?


(manst) #7

не совсем проблему, а попытка построения простой структуры и постепенное ее усложнени е , с возможностью отработки отказоустойчивости,

но подразумеваем несколько "физических"


(manst) #8

Вот что еще непонятно, в случае 3-х нод и 2-х реплик, при выводе из строя одной ноды , по какому принципу они определяют кому повышать уровень реплики до шарды и в какой последовательности?


(Igor Motov) #9

См главу An Empty Cluster и 2 за ней

См Scale Horizontally

См Add Failover

По-моему, это как раз ваш вариант.

в случае 3-х нод и 2-х реплик, при выводе из строя одной ноды , по какому принципу они определяют кому повышать уровень реплики до шарды и в какой последовательности?

Реплика - она всегда шарда. Шарда может быть праймри или реплика. Если праймари исчезает, одна из реплик становиться праймари, можно сказать, случайным образом. Происходит это одновременно, для всех шард.


(manst) #10

спасибо, грызу гранит науки )
Правильно ли я понимаю, что добавляя вторую ноду и делая ее только data , а первую только мастером , данные сами по себе (какимто хитрым и неизвестным способом) должны перебежать на 2-ю ноду? Или все таки этот процесс "синхронизации" нужно как то подтолкнуть?

если вылетает мастер, то в режим чтения переходит система, а ели нода с данными, то капут, правильно?

я хочу одну ноду оставить строго мастером, а с остальнми уже по мере необходимости играться, планируется всего максимум 2-3 ноды в общем


(Igor Motov) #11

Для того, чтобы сделать ноду строго мастером, вам надо эту ноду перегрузить с соответствующим флагом. Когда нода перезагрузится, она не будет пытаться считать данные с диска, так как это не больше не входит в ее обязанности. Никакой хитрой магии там происходить не будет - вы просто потеряете данные. Поэтому, пока у вас больше 3-х нод не наберется, и опыт работы с elasticsearch не появиться, я бы не стал заморачиваться и просто сделал все 3 ноды нормальными и поставил-бы minimum_master_nodes в 2.


(system) #12

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.