Латентность (Latency, TTFT)

Из чего складывается задержка ответа

Полная латентность бота — это не только работа языковой модели. В неё входят: сетевая передача запроса, поиск и подготовка контекста (например, выборка документов в RAG и обращение к векторной базе), вызовы внешних систем через API-интеграции, сам инференс модели и обратная передача ответа. Любое звено может стать узким местом.

Внутри модели отдельно считают TTFT — время до первого токена, которое зависит от длины подаваемого промпта и размера контекстного окна: чем больше текста нужно «прочитать» модели на входе, тем дольше она думает перед первым словом. После этого идёт генерация со скоростью в токенах в секунду. Для голосовых ботов к этому добавляются этапы распознавания речи и синтеза, и общий бюджет времени становится ещё жёстче.

Как снижают латентность на практике

Первый приём — стриминг: ответ отдаётся по мере генерации, поэтому пользователь видит первые слова уже через доли секунды, а не ждёт весь текст. Дальше работают с промптом: сокращают системный промпт и объём подаваемого контекста, оставляя только релевантные фрагменты — короткий вход напрямую уменьшает TTFT. Кэширование частых запросов и общей части промпта убирает повторную работу.

На уровне инфраструктуры помогает выбор более компактной или ускоренной модели (в том числе через дистилляцию и квантизацию), размещение модели ближе к пользователю и распараллеливание внешних вызовов. Важно и разумно применять «тяжёлые» reasoning-модели: они дают лучшее качество, но заметно медленнее, поэтому их подключают только там, где рассуждение действительно нужно.

Связанные термины

• Инференс — этап работы модели, дающий основную часть задержки
• Токен — TTFT измеряется именно как время до первого токена ответа
• Голосовой бот — сценарий, где низкая латентность критична для естественного диалога
• RAG — поиск по базе знаний добавляет свою долю к общей задержке