Что такое векторное хранилище и как оно используется в RAG-архитектуре?

Что такое векторное хранилище?

Векторное хранилище (vector database) — это специализированная база данных, предназначенная для хранения и поиска данных в виде векторных представлений (embeddings). Векторы — это числовые массивы фиксированной длины, которые кодируют семантический смысл текста, изображения или другого контента. Благодаря этому поиск происходит не по точному совпадению ключевых слов, а по смысловой близости.

Как оно используется в RAG?

RAG (Retrieval-Augmented Generation) — это архитектура, которая объединяет поиск информации и генерацию текста с помощью языковой модели (LLM). Векторное хранилище играет ключевую роль на этапе поиска:

• Сначала все документы (база знаний) преобразуются в векторы с помощью модели эмбеддингов (например, OpenAI Embeddings или Sentence Transformers).
• Эти векторы сохраняются в векторном хранилище вместе с исходным текстом.
• При поступлении запроса от пользователя он также векторизуется той же моделью.
• Хранилище выполняет поиск ближайших соседей (k-NN) и возвращает наиболее семантически похожие документы.
• Найденные документы передаются LLM как контекст для генерации ответа.

Пример кода (Python с FAISS)

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# Загрузка модели эмбеддингов
model = SentenceTransformer('all-MiniLM-L6-v2')

# Документы для индексации
docs = ["Столица Франции — Париж.", "Солнце — звезда."]
embeddings = model.encode(docs)

# Создание индекса FAISS
dimension = embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(np.array(embeddings))

# Поиск по запросу
query = "Какой город является столицей Франции?"
query_vec = model.encode([query])
D, I = index.search(np.array(query_vec), k=1)
print(docs[I[0][0]])  # Вывод: Столица Франции — Париж.

Вывод

Векторные хранилища незаменимы в RAG-архитектуре для эффективного семантического поиска по большим объёмам неструктурированных данных. Они позволяют LLM получать актуальный контекст без необходимости переобучения, что особенно полезно для чат-ботов, систем вопросов-ответов и ассистентов с динамической базой знаний.