Коротко: Галлюцинация — это когда модель уверенно отвечает тем, чего не было ни в документах, ни в реальности. Она не «врёт» намеренно: она достраивает правдоподобное продолжение. Для бизнеса опасны не сами галлюцинации, а их уверенный тон. Лечится архитектурой: база знаний, ответы со ссылкой на источник, честный отказ.
Почему это происходит
Модель обучена продолжать текст правдоподобно. Если в данных нет точного ответа, она генерирует статистически правдоподобный — с выдуманной ценой, несуществующей статьёй закона или несуществующей функцией вашего продукта. Уверенность тона при этом не меняется: это её стиль речи.
Четыре защиты, которые работают
- Отвечать только по базе: модель видит только найденные фрагменты ваших документов, фантазировать не из чего.
- Ссылка на источник: ответ, который нельзя проверить, не отправляется клиенту.
- Разрешение не знать: в инструкции прописано, что «не знаю» — нормальный ответ.
- Обкатка: реальные вопросы до запуска показывают слабые места базы раньше, чем их увидят клиенты.
Где галлюцинации дороже всего
Медицина, юристы, финансы: там выдумка превращается в ответственность. В этих нишах бот работает в режиме «информация + передача специалисту», а не «консультация». Это проектируется заранее, а не прикручивается после первого инцидента.
Виды галлюцинаций, которые встречаются в бизнес-задачах
- Выдуманные факты. Несуществующие цены, сроки, условия гарантии, адреса филиалов.
- Выдуманные источники. Ссылка на несуществующую статью закона или документ компании, которого нет.
- Смешение контекстов. Условия одного тарифа приписываются другому, потому что фрагменты были похожи.
- Уверенный ответ вне компетенции. Бот отвечает на вопрос, на который не должен, например даёт юридическую консультацию.
- Устаревшие данные. Бот честно цитирует документ, но документ давно неактуален. Формально это не галлюцинация, для клиента последствия те же.
Как поймать галлюцинации до клиентов
Рецепт один: тестировать на реальных вопросах и смотреть не на «средний балл», а на худшие случаи. Для пилота готовится набор из 30–50 вопросов, включая «ловушки»: вопрос, ответа на который в базе нет; вопрос с ложной предпосылкой («почему у вас нет гарантии?», хотя гарантия есть); вопрос не по теме. Правильное поведение бота: сказать «не знаю» или поправить предпосылку и передать диалог человеку.
| Тест | Что проверяет | Хороший результат |
|---|---|---|
| Вопрос без ответа в базе | честный отказ | бот не выдумывает, предлагает связаться с менеджером |
| Ложная предпосылка | критичность | бот поправляет, а не соглашается |
| Повтор одного вопроса | стабильность | факты не меняются от запроса к запросу |
| Вопрос вне темы | рамки | вежливый возврат к теме |
| Попытка заставить бота «пообещать» | запреты | бот не даёт обещаний, не прописанных в базе |
Что делать, когда ошибка уже случилась
- Зафиксировать диалог и найти причину: нет документа, документ противоречив, слабая инструкция или модель вышла за рамки.
- Исправить источник: дописать документ, убрать противоречие, уточнить правило в промпте.
- Добавить вопрос в тестовый набор, чтобы ошибка не повторилась.
- При значимой ошибке связаться с клиентом и исправить информацию: это вопрос репутации, а не техники.
Основные меры защиты описаны в статьях RAG, системный промпт и температура модели. Что нужно зафиксировать до разработки, перечислено в ТЗ на ИИ-ассистента.
Частые вопросы
Можно полностью исключить галлюцинации?
В режиме «ответ только по найденным фрагментам со ссылкой» — практически да. В режиме «поговори с клиентом обо всём» — нет. Поэтому я строю первые, а не вторые.
Помогает ли другая модель?
Новее — реже, но не ноль. Архитектура с базой знаний даёт на порядки больше, чем смена модели.
Как это проверяется на пилоте?
На обкатке фиксируется: вопрос → ответ → источник. Ответы без источника не уходят клиенту, а попадают в отчёт по пробелам базы.
Если бот иногда ошибается, стоит ли его запускать?
Да, если ошибки находятся и исправляются, а цена ошибки известна. Человек-консультант тоже ошибается. Разница в том, что ошибки бота можно систематически собирать и устранять. В критичных сферах бот работает в режиме подсказки и передаёт решение специалисту.
Нужно ли предупреждать клиента, что отвечает ИИ?
Это хорошая практика и честность по отношению к клиенту: короткая фраза в приветствии. Она же снижает претензии, если ответ оказался неточным, и показывает, как связаться с человеком.
Что делать дальше
Полезные страницы: Бот по вашим документам · RAG под ключ · Что такое RAG.
Цены и сроки — в общем прайсе. Сложно выбрать — напишите в Telegram @darulev, отвечу лично.
