Почему LLM галлюцинирует
Архитектурная причина: модель обучена предсказывать следующий токен, а не проверять факты. Когда модель «не знает» ответа, она генерирует правдоподобно звучащий текст, экстраполируя из обучающих данных. Особенно часто галлюцинации возникают с конкретными цифрами, датами, именами, ссылками на документы и законодательство — именно там, где точность критична для бизнеса.
Как защититься в корпоративном боте
RAG-архитектура — главный инструмент. Бот отвечает только на основе документов из базы знаний, найденных через семантический поиск. Если ответа в базе нет — бот сообщает об этом честно, а не придумывает. Явное ограничение в промпте: «Отвечай только на основе предоставленного контекста. Если информации нет — напиши "Не нашёл в базе знаний"». Постпроцессинг: числа и ссылки из ответа проверяются автоматически против исходных документов.
В медицинских ботах галлюцинации особенно опасны. В PapAI MedScale мы используем RAG с верификацией источника: бот всегда указывает, из какого документа взят ответ. Это снижает риск вымышленных медицинских рекомендаций до практически нулевого. Подробнее.
Температура и галлюцинации
Высокая температура (0.8–1.2) увеличивает «творческость» ответов и вероятность галлюцинаций. Для фактических ответов используйте температуру 0.1–0.3 — это делает генерацию детерминированной. Для консультационных диалогов достаточно 0.5–0.7 — баланс между живостью ответа и точностью.
Связанные термины
- RAG — основной инструмент борьбы с галлюцинациями
- Grounding (заземление) — привязка ответов к реальным данным
- Температура LLM — параметр, влияющий на вероятность галлюцинаций
- LLM — языковая модель, которая галлюцинирует
Где применяется
Нужен надёжный бот без галлюцинаций? Обсудим архитектуру.
Связаться с нами