Logstash мониторинг file input

Добрый день, подскажите, кто нибудь сталкивался с мониторингом входящих данных?
Есть несколько серверов которые каждый день по sftp скидывают логи в директорию на сервер logstash, можно ли настроить мониторинг файлов на logstash'е? Напримет, файлы с определенным именем не пришли сегодня и logstash отправляет письма?

Если файлы не могут быть пустыми - можно просто мониторить данные, если данные не появились (потому что не пришли или logstash не работает).

Файлы не пустые, но файлы приходят не с одного сервера, а с 7ми. Можно ли как то настроить мониторинг входных данных по определенным тегам? И ещё, после того как logstash прочитал данные из файла, он удаляет его.

Просто задаете ограничение по тагу и смотрите пришло ли что-то за последние несколько часов. Log Threshold Alert это делает.

Игорь, спасибо! Не подскажите, как включить Log Threshold Alert, у меня Kinana с X-Pack.

В кибане, нажать на меню -> Management -> Stack Management -> Alerts and Actions -> Create alert -> Select a trigger type -> Log threshold Это, если у вас все сваливается в стандартный индекс логов. Если надо по любому индексу то можно добавить filtered alias с фильтром по тагу и сделать Index Threshold Alert по этому алиасу.

Для включения этой фичи нужно настроить TLS и создать сертификат?

Этой - это какой? Все, что я перечислил, должно без TLS работать, по-моему. Может, уровня лицензии не хватает?

изображение
Лицензия базовая, её хватает.
А вот что пишет, когда заходишь в Alerts and actions:


Походу да, нужно настраивать TLS.

Игорь, подскажите, возможно ли с базовой лицензией создать свой Connector в Alerts and Actions? Моя цель это при отсутствии определённого тега в индексе, отсылать email, в базовой лицензии такой функционал отсутствует, я вот думаю, возможно ли отправлять сообщение в logstash и в нём, через send mail отправлять письмо?

Kibana Actions: Index and Logging, в basic. Так что, по идее, должно работать.