Что такое Elasticsearch и для чего он используется?

Question

Elasticsearch — это распределенный поисковый движок на основе Apache Lucene, предназначенный для полнотекстового поиска, анализа данных и работы с логами. Он хранит данные в виде JSON документов и предоставляет мощный язык запросов для поиска и агрегаций. Elasticsearch используется для поиска по сайтам, анализа логов (ELK stack), мониторинга приложений, рекомендательных систем и аналитики в реальном времени.

YeaHub · Accepted Answer

Elasticsearch сочетает в себе возможности поискового движка и аналитической базы данных.1. Основные возможности ElasticsearchПолнотекстовый поиск: Морфологический поиск, синонимы, нечеткий поискАналитика в реальном времени: Агрегации и метрики над большими объемами данныхМасштабируемость: Распределенная архитектура с горизонтальным масштабированиемREST API: Простой HTTP интерфейс для работы с данными2. Архитектура и основные понятияИндекс: Аналог базы данных в реляционных СУБДДокумент: Основная единица информации (JSON объект)Шарды: Части индекса, распределенные по кластеруРеплики: Копии шардов для отказоустойчивости3. Практические примеры использованияfrom elasticsearch import Elasticsearch

# Подключение к Elasticsearch
es = Elasticsearch(["localhost:9200"])

# Создание индекса для статей
index_body = {
    "mappings": {
        "properties": {
            "title": {"type": "text", "analyzer": "russian"},
            "content": {"type": "text", "analyzer": "russian"},
            "author": {"type": "keyword"},
            "published_date": {"type": "date"},
            "tags": {"type": "keyword"}
        }
    }
}

es.indices.create(index="articles", body=index_body)

# Добавление документа
doc = {
    "title": "Введение в Elasticsearch",
    "content": "Elasticsearch это распределенный поисковый движок...",
    "author": "Иван Иванов",
    "published_date": "2023-01-15",
    "tags": ["поиск", "аналитика", "технологии"]
}

es.index(index="articles", id=1, body=doc)

# Поиск с морфологией
search_body = {
    "query": {
        "match": {
            "content": "распределенный поисковый движок"
        }
    }
}

results = es.search(index="articles", body=search_body)4. Типичные сценарии использованияПоиск по сайту: Электронная коммерция, медиа-порталыАнализ логов: ELK stack (Elasticsearch, Logstash, Kibana)Мониторинг приложений: Метрики производительности и ошибокГеопространственный поиск: Поиск по местоположениюРекомендательные системы: Похожие товары или контент5. ELK Stack для анализа логов# Пример отправки логов в Elasticsearch
import logging
from pythonjsonlogger import jsonlogger

# Настройка JSON логгера
logger = logging.getLogger()
logHandler = logging.StreamHandler()
formatter = jsonlogger.JsonFormatter()
logHandler.setFormatter(formatter)
logger.addHandler(logHandler)

# Логирование структурированных данных
logger.info("User action", extra={
    "user_id": 12345,
    "action": "purchase",
    "product_id": "PROD-001",
    "duration_ms": 150
})Вывод: Elasticsearch — мощный инструмент для поиска и анализа данных, который особенно эффективен для полнотекстового поиска, работы с логами и аналитики в реальном времени. Используйте его когда нужен сложный поиск с поддержкой морфологии или быстрая агрегация больших объемов данных.