Что такое контекстное окно в LLM?

Что такое контекстное окно?

Контекстное окно в больших языковых моделях (LLM) — это фиксированный лимит на количество токенов, которые модель может принять на вход и обработать за один проход. Токен — это базовая единица текста: может быть словом, частью слова или даже символом. Например, слово «hello» может быть одним токеном, а длинное слово — разбито на несколько.

Это окно включает как сам запрос пользователя (промпт), так и ответ, который модель генерирует. Если суммарная длина превышает лимит, модель не сможет корректно обработать весь текст: либо обрежет начало, либо выдаст ошибку.

Зачем это важно?

Контекстное окно определяет «память» модели в рамках одного диалога. Чем больше окно, тем больше информации можно передать модели: длинные документы, историю переписки, несколько примеров для few-shot обучения. Это критично для задач, где нужен полный контекст, например, анализ больших текстов или многошаговые рассуждения.

Пример

Допустим, у модели окно 4096 токенов. Если вы отправляете запрос длиной 3000 токенов, то на ответ остаётся только 1096 токенов. Если запрос длиннее 4096, модель может проигнорировать часть текста или потребовать сокращения.

// Псевдокод: проверка длины контекста
const maxTokens = 4096;
const promptTokens = countTokens(prompt);
const maxResponseTokens = maxTokens - promptTokens;
if (maxResponseTokens < 0) {
  console.log('Промпт слишком длинный, сократите его');
}

Как применяется на практике?

При разработке приложений на основе LLM важно учитывать лимит окна: разбивать длинные тексты на части, использовать суммаризацию, управлять историей диалога. Например, в чат-ботах часто хранят только последние N сообщений, чтобы не превысить окно.

Вывод: Понимание контекстного окна необходимо для эффективной работы с LLM: оно помогает проектировать промпты, управлять длиной диалогов и избегать ошибок при обработке больших объёмов данных.