Всем привет, хочу внедрить ELK в продакшн, много читал. На спланк денег жалко, везде пишут про шардинг, кластеринг ELK. Но я так и не понял что именно разделяют? Что больше потребляет ресурсов и требует разделения - L или E? Допустим у меня есть пара физических серверов 12 ядер, 48г оперативы. Логов у нас - порядка 20Гб в день, и в основном это логи веб приложений. Достаточно ли все сделать на одном? Если ответ да - то можно/надо ли делать зеркало на втором сервере для отказоустойчивости? Кто что посоветует? Заранее всем благодарен за ответы.
Все зависит от того, за какой период нужно хранить данные и насколько часто и какой сложности делать из них выборки. В каких-то условиях хватит и одного сервера, в каких-то нет. Экспериментируйте.
а что разделяют обычно? E ?
А что нужно резервировать, то и разделяют. Например, у нас два сервера, на каждом elastic, kibana и свой парсер логов вместо logstash.