Технологическая компания Yandex Cloud представила новую модель машинного обучения, которая обладает способностью распознавать неформальные высказывания, использование нецензурной лексики, пол спикера и его фразы в диалоге. Эта нейросеть, разработанная на базе технологии распознавания речи Yandex SpeechKit, предоставляет бизнесу возможность создавать голосовых помощников и виртуальных операторов колл-центров, способных понимать человеческие эмоции. Такая инновация поможет улучшить качество аналитики телефонных разговоров, эффективнее адаптировать работу колл-центров под каждого клиента и оперативно реагировать на нештатные ситуации во время диалога.
Новая ml-модель способна анализировать эмоции в режиме реального времени и передавать информацию о негативном общении с голосовым помощником в систему заказчика, позволяя автоматически переключить разговор на сотрудника колл-центра. Кроме того, если оператор нагрубил клиенту, система оповестит менеджмент о возникшей проблеме.
Технология speaker labeling, применяемая в рамках этой модели, позволяет отметить, кто из участников разговора сказал определенную фразу, что значительно облегчает работу с одноканальными звуковыми дорожками. Компания также подчеркивает, что знает, какие именно темы и формулировки вызывают негатив у клиента, благодаря информации, полученной от нейросети.
В ближайшем будущем новая модель будет работать в составе сервиса речевой аналитики SpeechSense, который объединяет технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Совместное взаимодействие нескольких ml-моделей позволит распознавать более сложные эмоции спикера, такие как неуверенность или сарказм, а также оценивать, насколько оператор вовлечен в проблему клиента и насколько он старается помочь или завершить разговор как можно быстрее.
