Что может входить в контекстное окно помимо сообщений пользователя? Почему новый пустой чат может быть заполнен на 15%?

Что такое контекстное окно

Контекстное окно — это ограниченный объём памяти модели, который она использует для генерации ответа. Оно включает не только сообщения пользователя, но и другие элементы, которые влияют на качество и релевантность ответа.

Что входит в контекстное окно

• Системный промпт — инструкции, задающие роль и стиль модели.
• История диалога — все предыдущие сообщения пользователя и ассистента.
• Результаты инструментов — выводы от API, поиска или других вызовов.
• Метаданные — временные метки, идентификаторы сессии, технические токены.

Почему пустой чат заполнен на 15%

Даже в новом чате модель получает системный промпт, который может занимать значительную часть контекста. Например, в ChatGPT системный промпт содержит подробные инструкции о поведении, безопасности и формате ответов. Плюс добавляются токены-разделители, которые помогают модели понимать структуру диалога. Это и есть те самые 15%.

Пример

// Пример структуры контекста (упрощённо)
{
  "system": "Ты — полезный ассистент. Отвечай кратко.",
  "messages": [
    {"role": "user", "content": "Привет"},
    {"role": "assistant", "content": "Здравствуйте!"}
  ]
}

В реальности системный промпт может быть длинным, и его токены учитываются в лимите.

Вывод

Понимание состава контекстного окна важно для оптимизации запросов и управления длиной диалога. Если вы разрабатываете приложения на основе LLM, учитывайте системный промпт и историю, чтобы не превышать лимит токенов и сохранять качество ответов.