Как устроена связка Elasticsearch + Kibana?

Elasticsearch и Kibana — это две ключевые компоненты стека ELK (Elasticsearch, Logstash, Kibana), которые вместе образуют мощную платформу для поиска, анализа и визуализации данных в реальном времени.

Роль Elasticsearch

Elasticsearch — это распределённый, RESTful поисковый и аналитический движок, построенный на Apache Lucene. Он хранит данные в виде индексированных JSON-документов, что позволяет выполнять чрезвычайно быстрый полнотекстовый поиск, агрегации и сложные запросы. Данные распределяются по кластеру узлов, обеспечивая отказоустойчивость и масштабируемость.

Роль Kibana

Kibana — это инструмент визуализации с открытым исходным кодом, который работает поверх Elasticsearch. Он предоставляет веб-интерфейс, где пользователи могут:

• Создавать интерактивные дашборды с графиками, таблицами и картами.
• Выполнять специальные запросы (ad-hoc) с помощью языка запросов KQL (Kibana Query Language).
• Исследовать данные через интерфейс Discover.
• Настраивать мониторинг и оповещения.
• Управлять индексами и настройками Elasticsearch (в определённой степени).

Как они работают вместе

Типичный поток данных: данные (например, логи сервера) отправляются в Elasticsearch, часто через промежуточный сборщик вроде Logstash или Filebeat. Elasticsearch индексирует эти данные. Затем пользователь открывает Kibana, подключается к тому же кластеру Elasticsearch и через её интерфейс выбирает нужный индекс для анализа. Kibana отправляет запросы (search, aggregate) к API Elasticsearch и получает результаты, которые затем красиво отображает.

Пример практического применения

Рассмотрим простой пример мониторинга логов веб-приложения. Логи в формате JSON отправляются в Elasticsearch. В Kibana мы можем создать дашборд, который показывает:

• График количества ошибок 5xx по времени.
• Таблицу топ-10 самых медленных эндпоинтов.
• Карту географического распределения запросов.

Пример кода для отправки лога в Elasticsearch (используя клиент Python):

from elasticsearch import Elasticsearch
import datetime

# Подключение к Elasticsearch
es = Elasticsearch(["http://localhost:9200"])

# Документ-лог
log_entry = {
    "timestamp": datetime.datetime.utcnow(),
    "level": "ERROR",
    "message": "Database connection timeout",
    "service": "api-gateway",
    "response_time_ms": 1200
}

# Индексация документа в индекс 'app-logs-2023.12.01'
es.index(index="app-logs-2023.12.01", body=log_entry)

В Kibana, в разделе Management, мы настраиваем индексный паттерн app-logs-*, после чего можем исследовать эти данные в Discover и строить визуализации.

Вывод: Связка Elasticsearch + Kibana особенно полезна для задач, требующих быстрого поиска по большим объёмам неструктурированных или полуструктурированных данных и их интерактивной визуализации — таких как централизованное логирование, мониторинг приложений (APM), бизнес-аналитика и исследование данных безопасности (SIEM).