Как устроен ETL-контур в рекомендательной системе? (Hadoop, Spark, ClickHouse)

Основные этапы ETL:

1. Extract (извлечение)

   • Данные собираются из логов, баз данных или API.

   • Инструменты: Hadoop (HDFS), Kafka.

2. Transform (преобразование)

   • Очистка, агрегация и обогащение данных.

   • Инструменты: Spark (для распределенной обработки).

3. Load (загрузка)

   • Данные сохраняются в колоночном хранилище (ClickHouse).

   • Это ускоряет аналитические запросы.

Пример пайплайна:

# Spark-обработка (PySpark)
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("ETL").getOrCreate()
df = spark.read.json("hdfs://data/logs.json")
processed_df = df.groupBy("user_id").count()
processed_df.write.parquet("hdfs://processed_data/")

Когда использовать:

• Для построения рекомендательных систем.

• Для обработки больших объемов данных.