Текущее состояние: Эластик, Файлбит и Кибана приведены к одной версии (6.8), логи в окне Кибаны бегут, Файлбит с ключом -e ошибок по поводу логов не выдаёт, но...
Попытки активизировать модуль system заканчивается сообщением что "Data successfully received from this module", но при входе в System logs dashboard получаю поля "No results found". Модуль nginx после всех пертурбаций заработал.
Добавок: nginx отработал раз, показал откуда запросы и их количество, но после обновления страницы опять пришел к состоянию "No results found".
Пояснение: подозреваю что проблема может быть из-за того, что установка filebeat из портов не установила json конфиги для дашбордов, поэтому пришлось загрузить filebeat-6.8.6-darwin и воспользоваться конфигами оттуда, макось всё же самая близкая к FreeBSD.
А если в консоле elasticsearch посмотреть - результаты есть? Вы за какое время результаты смотрите?
В Diskover все логи видно, но в одной куче, график строится.
Гда почтитать как работать с эластик в консоли? man к нему не приложен, в info тоже нет информации. И что я там увижу, насколько понимаю туда идёт тот же поток, который я вижу в дискавере.
Ради интереса поставил просмотр Filebit Nginx logs overview на пол дня, обновление картинки раз в минуту, данные за последний час. Так ничего на графике не отобразилось, хотя в соседней вкладке (Discover) видно что логи с Nginx идут.
А если посмотреть данный за 1 день, что-нибудь отражается?
Посмотрите в Management->Index Pattens->Ваш индекс->@timestamp там иконка с часами отображается? Если да - в Discover, отсортируйте по времени (первая колонка) и посмотрите какое там время стоит.
Сейчас посмотрел, в discover слева перед строчкой @timestamp стоит значок часов, но я полагал что это штатное обозначение.
Часы - это как раз хорошо. Это значит, что это поле используется как время записи. Теперь надо посмотреть, что в этом поле храниться.
в Discover, отсортируйте по времени (первая колонка) и посмотрите какое там время стоит.
Это вам даст самую последнюю запись, которая была добавлена в индекс.
Зачем мне это нужно? В Discover всё работает, Filebeat nginx module отвечает "Data successfully received from this module", но NGinx dashboard показывает страницу с пустыми полями данных и пустой график.
Кстати, не в курсе почему в комплекте 6.8.6 для FreeBSD есть metricbeat но нет ни одного модуля dashboard для его данных?
Конкретно в этом поле хранится время в формате лога, т.е. "March 4th 2020, 22:05:48.049"
Чтобы исключить возможность того, что у вас время в логах храниться Томское, а интерпретируется оно как UTC, например. В этом случае у вас никогда событий за последние 7 часов видно не будет.
Не понял вопрос. Dashboard настраиваются в Kibana через команду setup.
Захотел активизировать контроль метрик сервера, настроил, проверил наличие данных от модуля - всё ОК. Следующая кноопка - "System metrics dashboard", нажимаем и видим сообщение: "Saved object is missing. Could not locate that dashboard (id: Metricbeat-system-overview)"
Дашборды для логов же есть готовые.
Эта та система, в которой вы сначала версии смешали, а потом все к 6.8.6 привели без переустановки дашбордов?
Ещё раз:
Система одна. Сообразил немного позже, подгрузил дарвиновский metricbeat и положил в нужное место заготовки дашбордов (напоминаю что в bsd-шном пакете beats нужных конфигов нет). Получил тот же эффект - получил Dashboard [Metricbeat System] Overview но без данных. Что нужно модифицировать в заготовке дашборда что бы он получал данные?
А кто вам сказал что "без переустановки дашбордов"?
Вопрос - logstash необходим или факультативен?
Дополнительная информация из логов:
indent preformatted text by 4 spaces
Mar 5 14:37:55 stat filebeat[2583]: ERROR instance/metrics.go:91 Error while getting memory usage: error retrieving process stats: cannot find matching process for pid=2583
Mar 5 14:37:55 stat filebeat[2583]: ERROR instance/metrics.go:135 Error retrieving CPU percentages: error retrieving process stats: cannot find matching process for pid=2583
Mar 5 14:37:55 stat filebeat[2583]: ERROR instance/metrics_file_descriptors.go:39 Error while retrieving FD information: error retrieving process stats: cannot find matching process for p
Mar 5 14:38:02 stat metricbeat[4738]: ERROR instance/metrics.go:91 Error while getting memory usage: error retrieving process stats: cannot find matching process for pid=4738
Mar 5 14:38:02 stat metricbeat[4738]: ERROR instance/metrics.go:135 Error retrieving CPU percentages: error retrieving process stats: cannot find matching process for pid=4738
Mar 5 14:38:02 stat metricbeat[4738]: ERROR instance/metrics_file_descriptors.go:39 Error while retrieving FD information: error retrieving process stats: cannot find matching process for
Это я читал, и очень порадовался поддержке.