Речевая аналитика
Что такое диаризация: как запись звонка делится на голоса
Диаризация отвечает на вопрос «кто и когда говорил» в записи. Она не называет имён, но без неё нельзя разобрать разговор по ролям и определить сотрудника.
Диаризация (от английского diarization) делит запись разговора на отрезки и помечает, какому говорящему принадлежит каждый. На выходе не текст и не имена, а разметка: с 0:00 до 0:07 говорил первый голос, с 0:07 до 0:15 второй, с 0:15 до 0:19 снова первый.
Такая разметка нужна везде, где важно отличать клиента от сотрудника: при расшифровке звонков, оценке работы администратора, расчёте времени ответа и определении, какой именно сотрудник вёл разговор.
Диаризация в одном абзаце
Представьте запись разговора, в которой слышны два голоса. Программа находит участки с речью, нарезает их на короткие сегменты, для каждого считает слепок голоса (набор чисел, описывающий тембр и манеру), а затем собирает сегменты в группы: «похожие друг на друга» отнесены к одному говорящему. Имён у групп нет, только ярлыки «говорящий 1» и «говорящий 2». Чтобы подписать их ролями («сотрудник», «клиент»), нужны дополнительные сведения: направление звонка, первая реплика, сравнение с эталоном.
Из каких шагов состоит диаризация
Поиск речи
Отделяем участки с голосом от пауз, музыки ожидания и шума. Это снижает путаницу на следующих шагах.
Нарезка на сегменты
Делим речь на короткие отрезки, обычно в пределах нескольких секунд, чтобы внутри отрезка говорил один человек.
Слепок голоса
Для каждого сегмента модель считает компактное числовое описание голоса.
Группировка
Сегменты с близкими слепками объединяются в говорящих. Число говорящих задаётся заранее (для телефонного звонка обычно два) или определяется автоматически.
Сборка разметки
Соседние сегменты одного говорящего склеиваются в реплики, получается таймлайн разговора.
Стерео и моно: почему это меняет задачу
| Запись | Как устроена | Как делится на голоса |
|---|---|---|
| Стерео, два канала | Сотрудник в одном канале, клиент в другом | Разметка почти готова: каждый канал берём отдельно, остаётся разобраться с перекрытием |
| Моно, один канал | Оба голоса в одной дорожке | Нужна полноценная диаризация по голосам |
| Телефонное качество 8 кГц | Узкая полоса частот | Слепки менее различимы, коротким репликам достаётся меньше надёжности |
Что мешает диаризации
- Перекрытие речи: оба говорят одновременно, и в этот момент голоса смешиваются.
- Короткие реплики вроде «да», «угу», «алло»: слишком мало материала для слепка.
- Похожие голоса и низкое качество записи.
- Громкая связь, фоновые разговоры, помехи на линии.
- Музыка ожидания и IVR, которые программа может принять за говорящего.
Получите план в течение 24 часов, как усилить ваш бизнес с помощью ИИ
Как оценивается качество диаризации
В исследованиях используют показатель DER (diarization error rate): доля времени разговора, размеченная неверно. В него входят три вида ошибок: речь, которую пропустили; пауза или шум, принятые за речь; участок, приписанный не тому говорящему. DER = (пропуск речи + ложная речь + путаница говорящих) ÷ общая длительность речи.
Условный пример: в разговоре 100 секунд речи. Пропущено 3 секунды, шум принят за речь на 2 секундах, чужому голосу приписано 5 секунд. DER = (3 + 2 + 5) ÷ 100 = 10%. Цифры в примере выдуманы для показа расчёта. Для вашей линии показатель нужно измерять на ваших записях: чужие тесты на других каналах и гарнитурах ничего не скажут.
Диаризация и определение сотрудника: в чём разница
Диаризация говорит: в записи два голоса, вот их реплики. Определение сотрудника идёт дальше: сравнивает речь одного из голосов с эталонами ваших сотрудников и называет, что это был, например, администратор Анна. То есть диаризация первая ступень, определение имени вторая.
Второй вопрос: как диаризация относится к голосовой аутентификации и биометрии. Аутентификация проверяет заявленного человека («вы владелец счёта?»), определение сотрудника выбирает из списка своих сотрудников, а диаризация вообще не опознаёт людей. Про биометрию отдельно: что такое голосовая биометрия.
Где диаризация нужна в работе с клиентами
Расшифровка звонков
Текст с метками «сотрудник» и «клиент» читается как диалог, а не сплошная стена. См. расшифровку звонков.
Оценка по чек-листу
Проверка, поздоровался ли сотрудник, назвал ли клинику, предложил ли запись, возможна только по реплике сотрудника.
Метрики разговора
Доля речи сотрудника и клиента, перебивания, паузы, время до первой реплики сотрудника.
Кто вёл звонок
Чтобы назвать сотрудника, нужно сначала отделить его речь. Подробно: определение сотрудника по голосу.
Нужна ли вам диаризация: быстрая проверка
| Ваша задача | Нужна ли диаризация | Почему |
|---|---|---|
| Считать число звонков и пропущенных | Нет | Достаточно метаданных телефонии |
| Читать расшифровки как диалог | Да, если запись моно | Без неё реплики сливаются в сплошной текст |
| Оценивать звонки по чек-листу | Да | Нужна именно речь сотрудника |
| Считать время ответа и перебивания | Да | Нужны границы реплик по говорящим |
| Знать, какой администратор вёл звонок | Да, плюс эталоны | Сначала отделить его речь, потом назвать по имени |
Типичные ошибки при работе с диаризацией
- Принять метки «говорящий 1» и «говорящий 2» за роли. Ярлык не говорит, кто сотрудник, это нужно определять отдельно.
- Считать, что число голосов всегда два. Переадресация и громкая связь добавляют участников.
- Оценивать качество по чужим тестам и не проверять на своих записях.
- Игнорировать музыку ожидания и IVR: программа может записать их говорящим.
- Не хранить исходную запись: при пересчёте разметки с лучшей моделью к ней нужно вернуться.
Пример: что даёт разметка в обычном звонке
Допустим, звонок длится две минуты. Первые десять секунд говорит клиент, затем сотрудник представляется клинике, уточняет услугу и предлагает время. Без диаризации расшифровка выглядит как один абзац, и ни скрипт, ни время ответа по ней не проверить. С диаризацией видно, что сотрудник заговорил на десятой секунде, перебил клиента один раз и назвал клинику в первой реплике.
Это уже годится для оценки звонка по чек-листу и для метрик: доля речи сотрудника, число перебиваний, пауза перед ответом. Но кто именно из администраторов вёл разговор, по разметке не видно: для этого нужен следующий шаг, определение по эталону.
Как мы используем диаризацию
Если запись стерео, мы работаем с каналами. Если моно, делим реплики по голосам, а затем определяем, какой из голосов принадлежит сотруднику: по эталонам, по направлению звонка или по первой фразе. Если и это неоднозначно, звонок помечается как неразмеченный, а не получает случайную роль. Какие приёмы мы применяем к моно-записям, описано на странице разделение голосов в моно-записи звонков, а о формате записей у разных АТС читайте в материале стерео или моно.
Как проверить диаризацию на своих записях
Возьмите 20–30 звонков
Разной длины и из разных смен, включая короткие и шумные.
Разметьте их вручную
Хотя бы начало и конец разговора и несколько реплик в середине.
Сравните с результатом
Посчитайте долю времени, размеченную верно, по формуле DER.
Посмотрите на ошибки
Где путаются голоса: на коротких репликах, на перекрытиях, на конкретных линиях.
Решите, что менять
Иногда достаточно перейти на стерео-запись или выбрать лучшее качество в АТС.
Что стоит и как попробовать
Диаризация входит в разбор звонков и определение сотрудника. Определение по голосу стоит от 5 900 ₽/мес (до 2 000 звонков), первый месяц идёт как пилот на ваших записях. Цены и пакеты: дополнительные продукты. Пришлите несколько звонков, и мы покажем разметку на ваших записях до оплаты.
Связанные страницы
Определение сотрудника по голосу
Следующий шаг после диаризации: назвать человека по имени.
Разделение голосов в моно-записи
Практика для записей в одном канале.
Расшифровка звонков
Текст с ролями говорящих.
Кто из сотрудников говорил с клиентом
Для чего нужна привязка звонка к человеку.
Речевая аналитика в глоссарии
Контекст: что ещё входит в разбор звонков.
ASR в глоссарии
Распознавание речи: соседний этап обработки записи.
Частые вопросы
Нет. Она делит запись на реплики по голосам и называет их условно: говорящий 1, говорящий 2. Имя сотрудника определяется отдельным шагом по эталонам.
Распознавание речи превращает звук в текст, диаризация определяет, кто говорил. На практике их совмещают: получается расшифровка с метками.
В упрощённом виде нужна: каналы уже разделены, остаётся разобраться с перекрытием и музыкой.
В обычном звонке двое. Переадресация, конференция и громкая связь добавляют голоса, и разметка усложняется.
Показателем DER: доля времени, размеченная неверно. Измерять его надо на ваших записях.
Да. Узкая полоса телефонной линии, шум и перекрытие речи снижают надёжность разметки.
Сама разметка «первый голос, второй голос» личность не устанавливает. Для определения сотрудника по эталону нужно согласие: подробности в материале про голосовую биометрию. Вопрос согласуйте с юристом.
Диаризация входит в разбор звонков и определение сотрудника. Подключаем к вашей АТС и Битрикс24 по SIP, API или вебхукам.
Продукт команды PapAI Soft
Записи звонков с АТС — в оценку по регламенту
CANAL берёт записи разговоров, расшифровывает их и оценивает работу менеджеров по чек-листу из вашего регламента, с цитатой под каждым выводом. Подключение самостоятельное, бесплатный тариф без карты.
