Специалисты в области визуализации данных часто говорят о двух типах визуализаций: разведочных и объяснительных. В Википедии разведочные визуализации описаны как “анализ основных свойств данных, нахождение в них общих закономерностей, распределений и аномалий, построение начальных моделей, зачастую с использованием инструментов визуализации.“ Объяснительные визуализации предполагают что автор имеет что-то конкретное что они хотят показать своей аудитории.
В этом блоге мы вкратце расскажем о применении Kibana для разведочной визуализаций данных.
Разведочный анализ данных с Kibana
1. Discover
Визуализация разведочных данных применяется в тех случаях когда неизвестно какие данные доступны и какие значения они содержат. Пользователь пытается понять данные и изучить их основные характеристики. Для этой задачи хорошо подходят инструменты которые могут обеспечить быстрый поиск в больших массивах данных; быстро показывать краткую сводку значений, доступных в полях; отображать их распределение и обеспечивать эффективный поиск, группировку и фильтрацию. По замыслу, эти требования и были заложены при создании поиска в Kibana и являются одни из основными преимуществами Elasticsearch. Именно что в Kibana есть множество функций, поддерживающих решение широкого спектра задач, стоящих перед пользователем для исследования больших массивов данных.
В приложении Discover пользователи могут видеть список полей, доступных в индексе, и информацию о каждом поле, включая наиболее часто встречающиеся значения и их распределения. На этой же странице они увидят гистограмму, показывающую изменение количества событий с течением времени, и смогут посмотреть отдельные документы в необработанном формате или в виде таблицы.
В этом примере вы можете увидеть данные из github со всех хранилищ Elastic за последние 7 дней. Обратите внимание, что список полей находится слева и вы можете нажать на любое поле чтобы увидеть детальную информацию по наиболее часто используемые значениям и их распределению.
Вы также можете добавлять нужные вам поля чтобы преобразовать результаты из списка документов в табличную форму. Заметьте что и в этом случае вы также видите только документы из хранилища Kibana которые соответствуют заданным вами фильтрам без каких-либо дополнительных действий. В Discover, вы можете легко и просто искать используя текст или фильтры (используя синтаксис KQL для запросов в Elasticsearch/Kibana).
2. Lens
Наш новый инструмент визуализации Lens вы также можете использовать для разведочного анализа данных. Как и в Discover, пользователи могут видеть список полей и понимать распределение данных в каждом поле; искать в списке полей и фильтровать по типу; и также просматривать краткое содержание полей. Lens также позволяет вам пробовать разные визуализации для того чтобы понять как нормальное распределение данных, так и пограничные значения.
После того, как поле помещено в панель визуализации, Lens выберет разумную визуализацию, чтобы быстро предоставить вам обзор данных в этом поле, а затем вы сможете настроить представление для дальнейшего анализа ваших данных.
Вы сможете добавить те поля которые вас интересуют и визуально исследовать корреляции в данных.
В итоге
Если ваша цель - исследование данных, Elastic стак и Kibana предоставляют много возможностейю