# Советы по организации структуры централизованного сбора логов
**URL:** https://discuss.elastic.co/t/topic/27772
**Category:** Вопросы на русском языке
**Created:** [August 20, 2015, 3:47pm UTC](https://discuss.elastic.co/t/topic/27772 "2015-08-20T15:47:07Z")
**Posts on this page:** 2
**Page:** 1
### Author:  [@y3g0r](https://discuss.elastic.co/u/y3g0r)
#### Post date: [August 20, 2015, 3:47pm UTC](https://discuss.elastic.co/t/topic/27772/1 "2015-08-20T15:47:08Z")
Всем привет.
Помогите пожалуйста развернуть ELK стек для сбора логов с продакшена.
Я снял некоторые показатели с продакшена и хочу спросить у вас совета, какими должны быть
технические требования к logstash-server и как организовать архитектуру стека.
**Porduction** :
На данный момент это окружение из 7 серверов, на каждом из которых установлено _приложение_ и запущенны отдельные его сервисы. В дальнейшем планируется собирать логи еще с одного окружения из 6 серверов, а также планируется запуск новых приложений (до 5), которые будут работать в связке с основным, и будут производить каждое по одному лог файлу.
_Приложение_ является контакт центром и производит около 30 текстовых лог файлов различных форматов (есть полностью однострочные, полностью многострочные и смешанные ). С помощью shell скриптов я посчитал частоту ивентов в каждом файле, а также процент многострочных events в каждом логе. Вот, что получилось:
По каждому серверу в первой колонке указано количество _ивентов_ генерируемых в час в среднем в
промежуток **с 7 утра до 7 вечера в будний день\***. Во второй колонке идет максимальное количество
логов, генерируемых в час, которое удалось получить из имеющихся логов. И в третьей колонке идет процент многострочных ивентов.
_ **\* Некоторые особенно многословные логи не удалось посчитать в часы наибольшей нагрузки так как логи с серверов снимались уже вечером и логов с дневными событями на сервере уже не было. Поэтому расчеты максимальной и средней частоты лог-ивентов в час могут иметь погрешность в пару миллионов.** _
Некоторое логи достаточно статические и не зависят от нагрузки системы. Другие логи генерируются в зависимости от нагрузки и частоты запросов. В общем, опираясь на максимальную оценку можно сказать, что по имеющимся логам можно ожидать около **5 млн событий в час \***. Хотелось бы, что бы ELK stack развернутый для данного окружения имел overhead и справлялся бы, скажем, с 6 млн событий/час. Так же, хотелось бы иметь возможность удобного расширения архитектуры стека, для добавления новых окружений.
_**\* Под событиями имеется ввиду не логстеш событие которое равно одной строке в случае с файловым входом, а полноценное (многострочное) событие в логе.**_
Планируется, что логи будут считываться с серверов с помощью logstash-forwarder. Возможно будут также входы syslog по tcp и парочка дополнительных входов, которые вы посоветуете мне [в этом топике](https://discuss.elastic.co/t/logstash/27760)
Проблемы, с которыми я столкнулся при стандартном подходе в организации централизованного лог сервера описаны [здесь](https://discuss.elastic.co/t/multiline-filter/27770)
Поделитесь, пожалуйста, своими идеями, как можно организовать сбор логов в данных условиях.
Так же прошу подсказать минимальные требования к системе (Сколько машин под инстансы чего, процессор, оперативная память, память, ОС (я думаю будет debian/centos), сколько нод в ES.. )
Скажите, если нужна дополнительная информация.
С уважением,
Егор
---
### Author:  [@system](https://discuss.elastic.co/u/system)
#### Post date: [July 6, 2017, 1:51pm UTC](https://discuss.elastic.co/t/topic/27772/2 "2017-07-06T13:51:24Z")