Коротко: Температура — это регулятор смелости модели. Ноль: всегда самый вероятный, сухой ответ. Высокая: больше вариативности и неожиданных формулировок — и больше шансов бреда. Боту, отвечающему по вашим документам, нужна низкая температура: клиенту нужен факт, а не креатив.
Два режима из жизни бизнеса
Температура низкая (0–0.3): прайс, статусы, регламенты, юридические формулировки. Ответ один и тот же на один и тот же вопрос — то, что нужно клиенту и вашей юротделу.
Температура выше (0.7–1): заголовки объявлений, варианты текста рекламы, нейминг. Здесь вариативность — фича.
Почему «креативный бот» — проблема
Высокая температура + ответы по базе знаний = модель начинает «дорисовывать» то, чего во фрагментах не было. Это уже не консультант, а рассказчик. Для клиентских ботов я ставлю консервативные значения и проверяю стабильность на обкатке: один и тот же вопрос десять раз — ответы должны совпадать по сути.
Что ещё влияет на «выдумки»
Температура — не единственная ручка: инструкции, объём подмешанных документов и качество самих документов влияют сильнее. Температура лишь не усугубляет. Чинить галлюцинации сначала документами и промптом, потом ручками генерации.
Как выглядит разница на одном вопросе
Возьмём вопрос клиента: «Сколько стоит доставка в Краснодар?» и базу, где написано «Доставка по городу: 300 ₽, бесплатно от 5 000 ₽». При низкой температуре бот ответит почти всегда одинаково: «Доставка по Краснодару стоит 300 ₽, при заказе от 5 000 ₽ она бесплатная». При высокой он может добавить «обычно доставляем за день» или «часто делаем скидку», хотя таких данных в базе нет. Каждое такое «украшение» это риск, а не сервис.
Поэтому настройка делается не «на вкус», а по назначению канала и типу ответа.
Какие значения подходят для каких задач
| Задача | Температура | Почему |
|---|---|---|
| Ответы по прайсу, срокам, условиям | низкая | нужен факт и одинаковый ответ на одинаковый вопрос |
| Юридические и медицинские формулировки | минимальная | любая вариативность превращается в ответственность |
| Разбор заявок, классификация обращений | низкая | важна стабильность решения, а не стиль |
| Дружелюбный диалог и уточнение потребности | умеренная | живая речь без выдумок |
| Заголовки, слоганы, варианты рекламы | высокая | здесь разнообразие и есть цель |
Как проверить, что значение подобрано правильно
- Выберите 10 типовых вопросов клиентов.
- Задайте каждый по 5–10 раз и сравните ответы по смыслу.
- Отметьте расхождения в фактах: цифры, сроки, условия. Они недопустимы.
- Отметьте расхождения в формулировках. Небольшие нормальны, они делают речь живой.
- Если факты «плавают», снижайте температуру и проверяйте инструкции, а не повышайте строгость слепо.
Температура лишь часть настройки. Куда больше на качество влияют инструкции (системный промпт) и база знаний (RAG). Если бот выдумывает, сначала смотрите туда, а потом на температуру (галлюцинации).
Частые вопросы
Температура настраивается?
Да, это параметр запроса к API. Разные каналы бота могут работать с разными значениями.
Можно вообще в ноль?
Для фактов — да. В ноль модель может зациклиться на формулировке, поэтому на практике 0–0.3.
Кто выбирает значение?
Я на пилоте: по фактической стабильности ответов на ваших вопросах, а не по вкусу.
Влияет ли температура на стоимость?
Напрямую нет: счёт идёт за токены, а не за «смелость». Косвенно да: многословные и «творческие» ответы длиннее, а выходные токены дороже (как считается цена).
Есть ли у всех моделей параметр температуры?
У большинства, но диапазоны и поведение немного различаются. Поэтому значение подбирается на конкретной модели, а при смене модели перепроверяется.
Что делать дальше
Полезные страницы: ИИ-чат-бот для сайта · Про галлюцинации моделей.
Цены и сроки — в общем прайсе. Сложно выбрать — напишите в Telegram @darulev, отвечу лично.
