Откуда бот берёт уверенность
Оценка уверенности складывается из нескольких сигналов. В классификации намерений (NLU) модель возвращает вероятность каждого интента — и если лучший вариант набирает, скажем, 0,4, это значит, что запрос сформулирован неоднозначно. В сценариях с базой знаний через RAG уверенность зависит от того, насколько близко найденные документы совпадают с вопросом: если релевантных фрагментов нет, отвечать «из головы» опасно.
Порог уверенности переводит эти сигналы в понятное бизнес-правило. Он защищает от галлюцинаций — ситуаций, когда модель уверенно выдаёт правдоподобный, но неверный ответ. Вместо выдумки бот честно говорит «уточните, пожалуйста» или зовёт человека.
Что происходит ниже порога
Когда уверенность падает ниже заданного значения, срабатывает один из безопасных сценариев. Мягкий вариант — переспрос: бот уточняет формулировку или предлагает выбрать из нескольких вариантов. Жёсткий вариант — эскалация на оператора: диалог с полным контекстом передаётся живому сотруднику. Для чувствительных тем (медицина, деньги, юридические вопросы) порог обычно выставляют выше, чтобы бот реже брал на себя ответственность.
Настройка порога — это всегда компромисс. Слишком высокий порог перегружает операторов и раздражает клиентов лишними переспросами; слишком низкий — пропускает ошибочные ответы. Оптимум находят на реальных диалогах, отслеживая долю эскалаций и точность ответов, и корректируют по мере обучения бота.
В проектах автоматизации клиентского сервиса PapAI Soft настраивает порог уверенности так, чтобы бот отвечал уверенно там, где знает ответ, и вовремя передавал сложные запросы оператору.
Связанные термины
- Эскалация на оператора — основной сценарий, который запускается при уверенности ниже порога
- Галлюцинация — главный риск, от которого защищает порог уверенности
- NLU — модуль, дающий оценку вероятности распознанного намерения
- RAG — в поиске по базе знаний уверенность зависит от релевантности найденных документов
Где применяется
Хотите бота, который знает, когда лучше промолчать и позвать человека? Обсудим настройку порогов и сценариев эскалации.
Связаться с нами