Потужні інструменти для візуалізації та аналізу даних Elasticsearch

Мета - перетворити дані на інформацію, а інформацію - на розуміння. Sight Карлі Фіоріна

Про Кібану

Kibana - це програма для візуалізації даних, яка забезпечує інтерфейс на основі браузера для вивчення даних Elasticsearch та навігації по Elastic Stack - колекції продуктів з відкритим кодом (Elasticsearch, Logstash, Beats та інші).

Поки Logstash і Bits доставляють дані в Elasticsearch, Kibana відкриває вікно в Elastic Stack , дозволяючи відстежувати стан вашого кластера , виконувати аналіз журналів та часових рядів , виявляти аномалії в даних за допомогою безконтрольного машинного навчання , виявляти взаємозв'язки за допомогою графіків і, що найголовніше, витягати статистичні дані з даних Elasticsearch за допомогою візуалізацій, які можна поєднати разом на власній інтерактивній інформаційній панелі .

Сьогодні я хотів би показати вам, як створити приголомшливу інформаційну панель та табличний звіт на основі даних Elasticsearch.

Закатайте рукави і давайте почнемо!

З чого почати

Головна сторінка це місце , де все починається.

Тут ви можете вирішити, які дії робити далі. Доступні функціональні можливості можна розділити на два логічні розділи:

  • Візуалізація та вивчення даних. Тут ви можете створити нову інформаційну панель, візуалізацію або презентацію, побудувати модель машинного навчання, проаналізувати взаємозв'язки у своїх даних за допомогою графіків тощо.
  • Управління в Elastic Stack : налаштувати свої простору, аналізувати журнали додатки, налаштування безпекит.д. конфігурації,

Ми зупинимося на процесі створення візуалізації та додавання їх на інформаційну панель.

Як створити інформаційну панель в Кібані

Дозвольте мені зрозуміти, як легко встановити розгалужену інформаційну панель і почати звітувати.

Першим важливим кроком є імпорт даних у Кібану. У вашому розпорядженні безліч варіантів додавання даних - ви можете вибрати той, який найкраще вам підходить:

Для демонстраційних цілей я вибрав зразок даних.

Щоб розробити свої перші візуалізації даних та об’єднати їх на інформаційній панелі, відкрийте сторінку Візуалізація . Тут ви можете створювати, модифікувати та переглядати наявні візуалізації.

Вас вразить відразу велика кількість типів візуалізації, з яких ви можете вибрати.

Після того, як ви вибрали потрібний, виберіть зразок індексу як джерело, щоб повідомити Кібану про свій індекс. Давайте виберемо `kibana_sample_data_flights` і почнемо створювати горизонтальну гістограму.

Тепер ви можете застосувати метричне агрегування для осі Y та сегментаційне агрегування для осі X. Ось список усіх доступних агрегатів для діаграм.

За бажанням ви можете налаштувати кольори візуалізації.

Фільтрування - ще одна потужна особливість Elasticsearch та Kibana. Він забезпечує спосіб візуалізації лише вибраного підмножини документів.

Подивіться, як можна застосувати фільтри до полів на основі логічних умов:

Як бачите, Kibana забезпечує простий спосіб фільтрації даних через зручний інтерфейс. Поряд з цим ви можете вибрати спосіб фільтрації даних - або за допомогою мови запитів Kibana (спрощений синтаксис запиту), або Lucene .

Щоб кінцеві користувачі могли інтерактивно фільтрувати дані, ви можете додати віджети управління - спеціальні елементи інформаційної панелі, які дозволяють фільтрувати дані, просто натискаючи їх.

Ще однією особливістю, яку я хотів би виділити, є розширена фільтрація за датами та можливість встановлення інтервалів часу для оновлення даних на інформаційній панелі.

Хороша річ полягає в тому, що візуалізації можна використовувати багаторазово . Після його створення ви можете будь-коли зберегти результат і додати його на інформаційну панель, а також поділитися зі своїми колегами за умови, що вони мають доступ до вашого екземпляра Kibana.

Після розташування всіх елементів візуалізації на одній сторінці ви можете експортувати остаточну інформаційну панель у формат PNG або PDF . Саме це робить панелі приладів портативними - легко розподілити їх між відділами в найкоротші терміни.

Давайте розглянемо приклад інформаційної панелі, яку ви можете створити:

На мою думку, головними рисами, які роблять кожну панель приладів особливою, є інтерактивність та виразність . З його допомогою ви можете ефективно передавати показники бізнесу.

Особисте враження

Візуалізації в Кібані ідеально виконують завдання, на які вони розроблені. Більше того, всі візуалізації привертають увагу, і ви можете адаптувати їх відповідно до своїх дизайнерських ідей. Весь процес створення інформаційної панелі в Кібані повинен бути швидким та ефективним - і це відбувається завдяки зручному та інтуїтивно зрозумілому інтерфейсу Kibana.

З іншого боку, я відчував, що тут відсутня якась функціональність.

При роботі з даними, один з ефективних пошукових методів , які Ви можете застосувати це нарізка і перетасування ваших даних перед тим , як знати , які аспекти даних для звернути увагу на. На мою думку, віджет таблиці даних - не найкращий варіант - він представляє дані у плоскій таблиці, яка не підтримує багатовимірний вигляд даних. Але гра з даними повинна здійснюватися інтерактивно та швидко.

І саме тут в гру вступає елемент керування зведеною таблицею . Після пошуку доступних рішень, мій вибір упав на один плагін з відкритим кодом, який називається Flexmonster. Він обробляє підключення до індексу Elasticsearch і дозволяє створювати табличні звіти на основі даних з його документів. Поряд з цим інтеграція з Kibana проходить гладко - єдине, що потрібно для початку, це встановити плагін, запустивши один рядок коду в командному рядку. Більш детальну інформацію ви можете знайти на GitHub. Перш ніж використовувати його, я рекомендую переконатися, що ваші екземпляри Kibana та Elasticsearch мають однакову версію.

Налаштувавши інструмент, ви готові використовувати всі доступні функції для глибокого пошуку.

Особливості аналітики та звітності

Flexmonster Pivot забезпечує швидкий доступ до найважливіших функцій звітування. Його панель інструментів дозволяє підключатися до джерела даних, завантажувати раніше збережені звіти, експортувати звіти у PDF , Excel , HTML , CSV та зображення. Крім того, мені вдалося швидко переключитися між двома різними режимами - сіткою та діаграмами. Варіанти форматування комірок включають умовне форматування та форматування чисел . Список полів заслуговує на особливу увагу - тут ви можете вибрати ієрархію рядків, стовпців, мірок та фільтрів звітів. Існує також поле введення пошуку, яке є корисним, якщо індекс має довгий список полів.

Однією з особливостей, яку я хотів би виділити, є можливість перетягування ієрархій прямо на сітку. Таким чином, ви можете повністю змінити фрагмент за допомогою інтерфейсу користувача.

Ще одна - детальна функція - вона допомагає знати, які записи стоять за сукупними значеннями.

Робота зі зведеною таблицею

Дозвольте мені показати вам, як створити звіт на основі даних Elasticsearch:

Під час тестування інструменту мені вдалося агрегувати та фільтрувати дані, сортувати значення в сітціта збережіть результати, щоб надалі працювати зі звітом. До того ж, експорт працює добре - легко поділитися звітами з товаришами по команді.

Об’єднавши все це разом

Сьогодні я розповів про переваги, які надає Kibana для візуалізації даних Elasticsearch. Ви змогли переконатися, як інформаційні панелі можуть розширити можливості аналізу.

На мою думку, зведена таблиця - це хороший інструмент, який дає змогу скористатися вивченням даних перед тим, як дратувати відповіді на складні запитання.

Flexmonster чудово доповнює доступні функціональні можливості Kibana - звіти, які ви створюєте з ним, є проникливими, налаштовуваними і ними можна легко ділитися між відділами.

Працюючи разом, обидва інструменти мають весь потенціал для покращення вашого розповіді.

Я закликаю вас спробувати таку комбінацію.

Що далі?

  • Репортаж із Кібаною
  • Створення візуалізації в Кібані
  • Зведена таблиця для Elasticsearch
  • Як додати зведену таблицю до Kibana