Галлюцинации · RAG · надёжность
Почему ИИ галлюцинирует и врёт клиентам — и что с этим делать
Ассистент уверенно называет цену, которой нет, и услугу, которой не существует — клиент верит и уходит недовольным. Галлюцинация — это не «характер ИИ», а инженерный дефект: его можно измерить, снизить до приемлемого уровня и держать под контролем — как latency или ошибки в проде.
Кастомный ассистент на RAG закрывает 94% обращений автоматически — против 60–70% у кнопочных ботов. Это возможно только тогда, когда ответам можно доверять: галлюцинирующего ассистента к клиентам просто не подпустят — Проверить на демо →
Что делать завтра: 5 шагов
Собрать источник правды
Соберите в одно место то, чем должен отвечать ассистент: прайсы, регламенты, FAQ, выгрузки из МИС или CRM. Пока фактов нет в базе, модель будет их достраивать — уверенно и складно.
Почистить базу
Уберите дубли, устаревшие версии и противоречия. Три версии прайса и два несогласованных регламента — и ИИ выберет «красивое», а не «правильное». Мусор на входе — мусор на выходе; 80% ценности даёт чистый источник.
RAG вместо голой модели
Подключите retrieval-augmented generation: сначала поиск находит нужный фрагмент в вашей базе, потом модель отвечает только по нему и даёт ссылку на источник. Выдумывать больше нечего.
Метрики точности
Заведите измерение: grounding, hallucination rate, доля честных «не знаю». Гоняйте их как тесты в CI — поменяли базу или промпт, прогнали золотой набор вопросов, поймали регресс. Без этого «стало лучше» — вкусовщина.
«Не знаю» вместо выдумки
Настройте правило: нет в базе → честное «уточню у врача / соединю с оператором». Это главный предохранитель от галлюцинаций, особенно там, где цена ошибки высока.
Из чего строится защита от галлюцинаций
RAG поверх базы знаний
Не «лечим модель», а даём ей источник правды и заставляем отвечать только по нему. Сначала поиск находит нужный кусок в вашей базе, потом модель формулирует ответ по нему. Как это работает — разобрали в статье что такое RAG простыми словами.
Чистая база знаний
Собираем и вычищаем источник правды: дубли, устаревшее, противоречия. Режем на осмысленные куски (чанкинг), чтобы поиск находил нужное, и настраиваем, кто держит базу актуальной. Устаревшая база — это вежливая ложь.
Ответ со ссылкой на источник
Ассистент отвечает не «по памяти», а по найденному фрагменту, и показывает, откуда взят факт. Опору на источник (grounding, faithfulness) видно и можно проверить — это не чёрный ящик.
Честное «не знаю» и эскалация
Вместо правдоподобной выдумки на вопрос вне базы — «не знаю, передаю человеку». Человек в петле там, где ошибиться дорого. Настроить это правило — то, что мы делаем в первую очередь.
Строгость контура по цене ошибки
Один движок — разная строгость: флористу порог мягче (ошибся с букетом — не трагедия), клинике жёстче («не знаю, передаю врачу»). Настраиваем под нишу, а не по умолчанию.
Измерение точности
Grounding, hallucination rate, доля честных «не знаю», регресс-тесты на золотом наборе вопросов. Точность — это число, а не ощущение: галлюцинации гоним вниз так же, как latency и error rate.
Что даёт контроль галлюцинаций
Частые вопросы
Честно — нулевой галлюцинации не гарантирует никто, и кто продаёт «100% без ошибок», занимается инфоцыганством. Наша цель другая: управляемый и измеримый риск, ниже, чем у живого оператора в текучке. Мы заставляем отвечать только по базе, настраиваем «не знаю → передать человеку», измеряем hallucination rate и держим его под порогом, а для высокой цены ошибки ставим более строгий контур и человека в петле. Именно поэтому ассистент дошёл до пациентов в 12 клиниках.
Fine-tune меняет стиль и поведение модели, но плохо держит меняющиеся факты. Прайс поменялся вчера — переобучать модель каждый раз дорого и медленно, это стрельба лазером по воробьям. RAG обновляется мгновенно: поменяли документ в базе — ответ уже другой. Плюс RAG даёт ссылку на источник, а fine-tune — чёрный ящик. На практике часто комбинируем: RAG для фактов, лёгкий тюнинг — для тона.
RAG (retrieval-augmented generation) — это «дать ИИ прочитать вашу шпаргалку перед ответом». Сначала поиск находит нужный фрагмент в вашей базе знаний, потом модель отвечает только по нему и даёт ссылку на источник. Модель перестаёт выдумывать просто потому, что ей есть откуда взять правду. Подробно разобрали в отдельной статье: что такое RAG простыми словами.
Она обучена на всём интернете, а не на вашем прайсе, регламентах и МИС — ваших фактов в ней физически нет. Когда модель не знает ответа, она по умолчанию не молчит, а достраивает правдоподобное. Чем специфичнее вопрос клиента, тем выше риск выдумки. Вопрос не в том, что модель тупая, — она просто не знает ваших фактов, и это чинится не заменой модели на «помощнее», а тем, что мы даём ей ваш источник правды.
Не на глаз. Grounding и faithfulness — опирается ли ответ на источник; hallucination rate — доля выдуманного; доля честных «не знаю» — молчит ли модель, когда правда не знает. Плюс регресс-тесты на золотом наборе вопросов. Гоняем эти метрики как тесты в CI: поменяли базу или промпт — прогнали набор, поймали регресс. Без измерения «стало лучше» — это вкусовщина.
Да, но с более строгим контуром. Чем выше цена ошибки, тем жёстче правило «нет в базе — не выдумывай, передай человеку», и тем важнее человек в петле. В медицине лучше «уточню у врача», чем красивая выдумка. Данные держим на серверах в РФ, по 152-ФЗ, под NDA. Именно строгий контур позволил довести ассистента до пациентов там, где выдумка опаснее всего.
Не обязательно. Простой бот запускается от 7 дней, базовый кастомный — от 49 000 ₽, ассистент с базой знаний и CRM — от 120 000 ₽. По токенам типовой бот — 2 000–5 000 ₽/мес на GPT-4o или менее 1 000 ₽/мес на Alice/YandexGPT. Демо до оплаты бесплатно, результат фиксируем в договоре (KPI, сроки), окупаемость в среднем около 3 месяцев. Основная работа — не «нейросеть», а чистка базы знаний: часто 80% ценности даёт правильно собранный источник правды.