Как считается WER
Расшифровку сравнивают с эталоном, написанным человеком, и считают три вида ошибок: замены (S), пропуски (D) и вставки (I). Формула: WER = (S + D + I) / N × 100%, где N — число слов в эталоне. Пример: в эталоне 20 слов, система заменила 1 слово, пропустила 1 и добавила 0 — WER = (1 + 1 + 0) / 20 = 10%.
Как читать цифры
WER зависит от тестового набора: на чистой речи он заметно ниже, чем на разговорной с шумом, перебиваниями и акцентами. В телефонном канале звук беднее (SIP-линии передают речь в телефонном качестве), поэтому точность обычно хуже, чем в публикуемых тестах. На результат влияет и нормализация: регистр, знаки препинания, числа цифрами или словами. Сравнивать системы корректно только на одних и тех же записях.
По опубликованным данным разработчиков, на открытых тестах русской речи современные модели ошибаются примерно в 8–10% слов в среднем. Для вашей телефонии цифра может отличаться, поэтому её проверяют на реальных записях.
WER и качество голосового ассистента
Низкий WER — необходимое, но не достаточное условие. Для робота важнее, правильно ли распознаны ключевые данные: имя, телефон, дата, адрес. Поэтому такие фрагменты подтверждают повторным проговариванием, а перед запуском собирают демо на ваших звонках. Подробнее о первой ступени — в статье про ASR.
PapAI Soft перед оплатой собирает демо голосового робота на ваших записях — точность видно на реальных звонках: тарифы голосового робота.
Связанные термины
- Распознавание речи (ASR) — технология, точность которой измеряет WER
- Речевая аналитика — зависит от точности расшифровки
- SIP-транк — телефонный канал снижает качество звука
- Латентность — вторая ключевая метрика голосового диалога
Где применяется
Хотите проверить точность распознавания на своих звонках? Соберём демо.