Что такое температура в LLM и на что она влияет?

Что такое температура в LLM?

Температура — это гиперпараметр, используемый при генерации текста в больших языковых моделях. Она управляет степенью случайности выбора следующего токена. Понимание температуры важно, потому что она напрямую влияет на качество и стиль ответов модели: от строго фактических до творческих и неожиданных.

Как это работает?

Модель вычисляет логиты (сырые оценки) для каждого возможного токена. Затем эти логиты делятся на температуру T. Если T меньше 1, распределение становится более «острым» — вероятности высоких логитов увеличиваются, а низких уменьшаются. Если T больше 1, распределение становится более «плоским» — все токены получают более равные шансы. После этого применяется softmax для получения вероятностей.

logits = [2.0, 1.0, 0.1]
T = 0.5
scaled = [4.0, 2.0, 0.2]
probs = softmax(scaled)  # [0.88, 0.12, 0.0]

T = 1.5
scaled = [1.33, 0.67, 0.07]
probs = softmax(scaled)  # [0.55, 0.28, 0.17]

Практическое применение

• Низкая температура (0.1–0.3): подходит для задач, требующих точности, например, извлечение фактов, перевод, кодирование.
• Средняя температура (0.5–0.7): универсальный вариант для диалогов и общих вопросов.
• Высокая температура (0.8–1.2): используется для творческих задач — генерация идей, стихов, историй.

Вывод

Температура — это простой, но мощный инструмент для контроля поведения LLM. Выбирайте низкие значения для детерминированных ответов и высокие — для креативных. Понимание этого параметра помогает настраивать модели под конкретные сценарии использования.