Стэк ELK для сбора системных сообщений

Всем привет! Подскажите, кто ни будь настраивал стэк на сбор системных логов?
Какие компоненты нужны для осуществления данной цели?
Насколько я понял, нужные компоненты - это ELK + filebeat на серверах где будут осуществляться сбор логов.
У меня затык в индексах, никак не могу в них разобраться, что это и с чем их едят!
Может кто то сталкивался с подобной задачей, или ткнет что нужно прочитать.
Спасибо!

Привет Артём, кроме filebeat есть еще много других дата коллекторов: https://www.elastic.co/products/beats. Например MetricBeat из коробки может считывать метрики с довольно большого количества приложений. Многие из beats (или даже все) имеют предустановленные шаблоны для Kibana (например https://www.elastic.co/guide/en/beats/winlogbeat/current/load-kibana-dashboards.html) а также шаблоны индексов для Elasticsearch, которые дают быстрый "низкий старт". Также beats могут писать напрямую в Elasticsearch, и для начала можно обойтись без настройки Logstash.
Т.е. для начала вам можно не углубляться в детали, а просто настроить и запустить *beat + ES + Kibana, что не должно занять много времени

Про другие коллекторы знаю, спасибо!
То есть мне нужно установить Elasticssearch + Kibana на один сервер, а например Filebeat на сервер откуда мне нужно собирать логи?

В общем да. Для начала, я думаю, можно ограничится и одним сервером. Также можете воспользоваться пробным периодом на нашей Cloud платформе, которая позволит вам развернуть ES+Kibana за минуты, и довольно быстро настроить beats на отправку логов туда если воспользуетесь CloudID для конфигурации.

Подскажите, бесплатен ли x-pack?
И еще, мне нужен grok debugger в Kibana, я знаю, он появляется при установке x-pack.
Можно ли как ни то установить x-pack только для Kibana? Или его только по всему стэку раскатывать нужно?

Отчасти [см X-Pack subscriptions]

Думаю вам надо будет установить его и в Elasticsearch тоже

Yuri подскажите пожалуйста, установил x-pack в elasticsearch, kibana, logstash.
Настроил elasticsearch, kibana, а вот logshtash не могу понять, по инструкции нужно настроить username
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: logstashpassword

Никак не могу найти эти параметры в logstash.yml
Куда их прописывать?

Куда их прописывать?

Просто добавьте эти настройки в конец файла. Каждая строка должна быть без отступов.

Еще вопрос, при активации лицензии, например BASIC. Фитчи не доступные для этой лицензии автоматом отключаться?

Думаю что да. https://www.elastic.co/guide/en/elasticsearch/reference/6.2/license-settings.html

В принципе с этим разобрался, но появился еще вопрос, после установки x-pack в elasticsearch, kibana, logstash перестали работать индексы, которые работали до установки, и инфа передавалась из logstash в elasticsearch, а сейчас индекс logstash виден но информации нет...

С последним тоже разобрался, спасибо.

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.