# Несколько вопросов по кластеру ELK
**URL:** https://discuss.elastic.co/t/elk/177832
**Category:** Вопросы на русском языке
**Created:** [April 22, 2019, 9:50am UTC](https://discuss.elastic.co/t/elk/177832 "2019-04-22T09:50:12Z")
**Posts on this page:** 11
**Page:** 1
### Author:  [@KOTOXJle6](https://discuss.elastic.co/u/KOTOXJle6)
#### Post date: [April 22, 2019, 9:50am UTC](https://discuss.elastic.co/t/elk/177832/1 "2019-04-22T09:50:12Z")
Добрый день.
Решил масштабировать единый сервер ELK в кластер. Ввел вторую ноду ES, роли оставил по-умолчанию, реплики только системные. Версию ELK поднял до 6.7.1. Никак не могу разобраться с некоторыми моментами:
1. Сейчас у меня 349 индексов, а шардов по 848. Разве их не должно быть 698?
2. На вкладке Monitoring в Disk Available я вижу место на обеих нодах как единую область. Как происходит запись данных на ноды? Пока есть место на первой, данные будут идти туда, а при заполнении на вторую? Если в logstash у меня будут указаны оба сервера, данные будут записываться на них равномерно?
3. Чтобы кластер был отказоустойчивым нужно добавить еще одну ноду Master-Data, добавить 2 реплики и задать параметр discovery.zen.minimum\_master\_nodes: 2? Реплики в этом случае равномерно будут писаться на все ноды кластера?
4. Сейчас данные от beats поступают в logstash и из него в elasticsearch. В основном данные с серверов Windows, для них недоступность ES не критична, когда сервис восстанавливается, все данные приходят. А если данные будут отправляться с сетевого устройства, а ES будет недоступен, то данные пропадут. Можно ли как-нибудь настроить logstash на хранение данных у себя до момента когда ES станет доступен или для этих целей лучше использовать другие программы?
---
### Author:  [@ep4sh](https://discuss.elastic.co/u/ep4sh)
#### Post date: [April 22, 2019, 3:42pm UTC](https://discuss.elastic.co/t/elk/177832/2 "2019-04-22T15:42:39Z")
1. Вы можете посмотреть кол-во шардов и реплик:
`GET _cat/indices?v`
думаю, что для некоторых индексов у Вас значение отличное от 1:1
2. Посмотрите вот это: [https://www.elastic.co/guide/en/logstash/current/persistent-queues.html](https://www.elastic.co/guide/en/logstash/current/persistent-queues.html)
По остальному, насколько я могу знать, всё происходит прозрачно для пользователя, по опыту со "средней" равномерностью)
---
### Author:  [@KOTOXJle6](https://discuss.elastic.co/u/KOTOXJle6)
#### Post date: [April 23, 2019, 8:33am UTC](https://discuss.elastic.co/t/elk/177832/3 "2019-04-23T08:33:12Z")
> [@ep4sh](#):
>
> 1. Вы можете посмотреть кол-во шардов и реплик:
> `GET _cat/indices?v`
> думаю, что для некоторых индексов у Вас значение отличное от 1:1
Да, там немного больше - 353. Но все равно получается большая разница. В принципе на работе это не сказывается, просто интересно как так получается.
> [@ep4sh](#):
>
> 1. Посмотрите вот это: [Persistent queues (PQ) | Logstash Reference [8.11] | Elastic](https://www.elastic.co/guide/en/logstash/current/persistent-queues.html)
>
> По остальному, насколько я могу знать, всё происходит прозрачно для пользователя, по опыту со "средней" равномерностью)
Спасибо за ссылку.
---
### Author:  [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [April 23, 2019, 2:20pm UTC](https://discuss.elastic.co/t/elk/177832/4 "2019-04-23T14:20:27Z")
> [@KOTOXJle6](#):
>
> 1. Чтобы кластер был отказоустойчивым нужно добавить еще одну ноду Master-Data, добавить 2 реплики и задать параметр discovery.zen.minimum\_master\_nodes: 2? Реплики в этом случае равномерно будут писаться на все ноды кластера?
Для отакзоустойчивости в случае потери одного узла достаточно добавить один узел. Увеличивать количество реплик до 2-х не обязательно. Достаточно одной копии, тогда шарды будут равномерно распределены, на разных узлах будут разные копии, но при этом потеря одного узла не должна привести к потере данных, так как копия этих данных будет на одном из выживших узлов.
---
### Author:  [@KOTOXJle6](https://discuss.elastic.co/u/KOTOXJle6)
#### Post date: [April 24, 2019, 6:52am UTC](https://discuss.elastic.co/t/elk/177832/5 "2019-04-24T06:52:39Z")
Игорь, спасибо за ответ.
В итоге я пока остановился на следующей конфигурации:
1 Сервер-балансировщик без ролей ES, с Kibana и Logstash
3 Сервера со всеми ролями ES.
2 Реплики
Обновил задание на очистку Curator, индексов стало меньше. Если я правильно считаю, 240 индексов, 5 шардов и 2 реплики, получается 240 \* 5 = 1200 и 1200 + 1200\*2 = 3600 (3393 Total Shards в Kibana)
Примерно то же самое, что показывает Kibana.
---
### Author:  [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [April 24, 2019, 1:11pm UTC](https://discuss.elastic.co/t/elk/177832/6 "2019-04-24T13:11:38Z")
У вас слишком много шард для такого маленького кластера. Если индексы создаются ежедневно, то возможно имеет смысл создавать их не так часто.
---
### Author:  [@KOTOXJle6](https://discuss.elastic.co/u/KOTOXJle6)
#### Post date: [April 24, 2019, 1:38pm UTC](https://discuss.elastic.co/t/elk/177832/7 "2019-04-24T13:38:57Z")
Да, индексы создаются ежедневно. А как можно реже создавать ежедневные индексы? Есть ли смысл уменьшить количество шардов до, например, 3?
---
### Author:  [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [April 24, 2019, 1:45pm UTC](https://discuss.elastic.co/t/elk/177832/8 "2019-04-24T13:45:04Z")
Все зависит от размера, если индексы маленькие, то может иметь смысл уменьшить до одной праймари и создавать индексы раз в месяц.
---
### Author:  [@KOTOXJle6](https://discuss.elastic.co/u/KOTOXJle6)
#### Post date: [April 24, 2019, 1:49pm UTC](https://discuss.elastic.co/t/elk/177832/9 "2019-04-24T13:49:06Z")
Самый большой индекс 3.2ГБ, средний 300МБ. Больше 1ГБ пока создалось всего 30 индексов.
---
### Author:  [@Igor\_Motov](https://discuss.elastic.co/u/Igor_Motov)
#### Post date: [April 24, 2019, 4:18pm UTC](https://discuss.elastic.co/t/elk/177832/10 "2019-04-24T16:18:56Z")
Да, я бы начал с уменьшения количества шард до 1.
---
### Author:  [@system](https://discuss.elastic.co/u/system)
#### Post date: [May 22, 2019, 4:19pm UTC](https://discuss.elastic.co/t/elk/177832/11 "2019-05-22T16:19:04Z")
This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.