Прослушивание

Ученые из Национального Университета Сингапура (National University of Singapore) открыли способ улавливать звуки в помещении при помощи робота-пылесоса. При этом у пылесоса, который тестировали специалисты, нет встроенного микрофона. Принцип подслушивания несколько иной вместо микрофона используется лидар.

^{На схеме лидар перехватывает данные во время конференции пользователя}
Лидар состоит из двух элементов: лазерный излучатель и приемник. Лидар замеряет расстояние до объектов с высокой точностью с помощью лазерного луча. И, как оказалось, при помощи лазера можно отлично слышать все, что происходит вокруг робота-шпиона.


В чем суть эксперимента? Пылесос установили рядом с мусорным ведром. Лидар направили на ведро. В 20 см от ведра установили аудиоколонку, которая воспроизводила звук с громкостью около 70 дБ. В результате применения специализированного оборудования исследователям удалось не только подслушать звук. Как оказалось, эта технология позволяет:

• с 96% определить пол говорящего,
• с 91% восстановить произнесенные цифры,
• с 90% идентифицировать музыкальные заставки (выбиралось из 10 вероятных),
• с 67,5% идентифицировать личность говорящих в помещении людей (также выборка из 10 возможных).

^{Принцип работы лидара}
Как происходит запись? Лидар вращается с частотой 5 Гц, за один оборот записывает 360 значений расстояния. Но такой частоты регистрации недостаточно. Ученые видоизменили электрическую цепь в блоке прибора, чтобы он записывал расстояние без вращения. В таких условиях частота записи вырастает в 360 раз до 1,8 кГц.

Что дальше? Затем данные фильтруют. Распознают пустые фрагменты, которые остаются, когда луч не возвращается обратно. Также отбрасывают низкочастотный шум и усиливают звук в низких частотах. Результирующий сигнал обрабатывают нейросетевыми алгоритмами.


Сверточная нейросеть относит звуки к известным ей классам. Инженеры обучали ее на открытой базе Free Spoken Digit, а также на собственной подборке записей музыкальных заставок с YouTube.

Какие еще способы существуют

^{Скриншот записи со схемой восстановления звука от пакета чипсов}
Несколько лет назад ученые из Массачусетского технологического института продемонстрировали, как можно восстановить звук самыми неожиданными способами. В одном случае восстановили мелодию от комнатного растения. А в другом эксперименте снимали на камеру и восстанавливали аудио, звучащее рядом с пакетом чипсов. Преобразовать звук удалось с помощью высокоскоростной камеры: по изменениям пикселей на изображении снимаемого объект.

^{Система Lamphone}
Летом текущего года в Израиле ученые подслушали речь, звучащую в доме в реальном времени, по вибрациям лампочки. Способ назвали Lamphone. Для этого нужен телескоп с подключенным к нему фотодиодом. Оптический приемник преобразует падающий на него свет в электрический сигнал. С помощью алгоритма сигнал переводят в речевую спектограмму, из которой извлекают речь собеседников.

Разговоры с клиентами записывают практически все компании. Но для прослушивания всех разговоров необходимо столько же человек, сколько их наговорило, поэтому обращаются к этим записям, как правило крайне редко.

Происходит это всего лишь в двух случаях. Во-первых, когда необходимо найти кто прав?, то есть в случае возникновения спорных вопросов с клиентами или поставщиками. Во-вторых, когда в контактном центре налажен процесс выборочного аудита разговоров для оценки. В последнем случае существуют статистические формулы, которые дают нам следующие выкладки. Чтобы с уверенностью 905% сказать, что информация об аудите достоверна, необходимо прослушать 214 разговоров из каждой тысячи. Иными словами на каждые 5 операторов необходимо одного аудитора с аналогичным графиком работы. А если учитывать, что некоторые колл-центры работают круглосуточно, то требуемое количество аудиторов возрастает.

Таким образом получается, что компании прослушивают всего 1-3% разговоров. Однако в диалогах с клиентами можно найти довольно много интересного, если провести голосовую аналитику. Поиск можно осуществлять по следующим критериям:

• нецензурная лексика,
• слова-паразиты в речи сотрудников,
• слова и фразы-маркеры, которые могут свидетельствовать о негативе или необходимости предпринять какие-либо действия. Например слова долго, дорого, опоздал могут стать триггерами для переадресации таких разговоров на обработку менеджерам.

Что ищем

Речевая аналитика это комплексный поиск и оценка разговоров по нескольким критериям (так называемым срезам). Вот некоторые из них.

1. Лояльность клиентов комплексный показатель, учитывающий перебивания, долю владения разговором, восклицания и замечания оператору.
2. Качество работы оператора содержит в себе слова-паразиты, долю владения разговоров и некомпетентность оператора.
3. Проблемы со связью наличие характерных фраз в разговоре, например, вы пропадаете, плохо слышно.
4. Безопасность упоминания конкурирующих организаций или фамилий
5. Негатив явные претензии и фразы негативного характера в речи абонента
6. Требования связать с руководством наличие ключевых фраз, например, кто у вас главный, кому можно написать претензию и пр.

Как это работает

Требования для исходных разговоров голосовой аналитики довольны простые. Это стереозапись, где один канал клиент, другой канал сотрудник, в формате mp3 с качеством не ниже чем 16 кбит/c

При помощи технологии SpeechToText проводится распознавание речи и расчет карты владения разговором сколько времени говорили по отдельности абонент и оператор, перебивали ли друг друга и пр. Далее проводится анализ на основе словарей срезов и разговору выставляется оценка на основе количества совпадений и веса каждого среза. К слову сказать, количество фраз в словарях превышает 4 000 выражений.

В итоге составляется карта оценок разговоров, требующих пристального внимания аудиторов колл-центра, руководителей отделов, сотрудников по качеству и работников отделов безопасности. Тем самым производится подсвечивание разговоров с указанием причин низкой совокупной оценки.

Как это выглядит

Рабочее место речевой аналитики представляет собой списки разговоров в различных срезах с совокупной оценкой и стенограммой разговора.



Каждый звонок получает автоматическую оценку по 5-балльной шкале. Чем меньше оценка, тем больше вероятность того, что разговор необходимо прослушать.



Конструктор собственных отчетов и срезов позволяет создать дополнительные критерии отбора записей звонков.



Стенограмма разговора



Окно полнотекстового поиска ключевых слов в записях разговоров



Это еще не все

Как мы уже писали выше, существует возможность отработки так называемых триггеров или фраз, которые встретились в разговоре и на которые необходима срочная реакция соответствующих служб. Распознав такие сигналы, система автоматически запускает процесс в CRM или Service Desk и нужная информация поступает в работу менеджерам отделов продаж, маркетинга и сервиса.

Что получает компания

Вместо 1-3% разговоров компания контролирует абсолютно все разговоры с клиентами. Это позволяет получать больше качественных данных для оперативного реагирования на различные ситуации и развития бизнеса в целом.