Amazon представила голосовую ИИ-модель Nova Sonic

Amazon представила модель генеративного искусственного интеллекта Nova Sonic, способную обрабатывать голос и генерировать речь, которая звучит естественно. В тестах на замеры скорости, распознавание речи и качество разговора Sonic зарекомендовала себя как конкурентоспособная в сравнении с передовыми голосовыми моделями OpenAI и Google.

Источник изображений: aboutamazon.com

Nova Sonic — ответ Amazon на новые голосовые модели ИИ, такие как лежащая в основе звукового режима ChatGPT; все они предлагают более естественные форматы общения, чем ранние версии голосового помощника Alexa. Технологические прорывы последних лет позволили сделать устаревшие модели и цифровых помощников, включая Alexa и Apple Siri, намного более естественными во взаимодействии с человеком. Модель Nova Sonic доступна через Bedrock — предлагаемую Amazon платформу для разработчиков корпоративных приложений с ИИ; поддерживается двунаправленный потоковый API. Nova Sonic, добавили в Amazon, обходится в эксплуатации на 80 % дешевле, чем мультимодальная OpenAI GPT-4o, а её компоненты уже работают в обновлённом варианте Alexa+.

Она превосходит конкурентов в маршрутизации пользовательских запросов к различным API — модель «знает», когда ей необходимо в реальном времени извлечь информацию из интернета, проанализировать собственный источник данных или выполнить действие во внешнем приложении — и использовать для этого соответствующий инструмент. Во время двустороннего диалога Nova Sonic ждёт, чтобы заговорить «в подходящее время», учитывая свойственные собеседнику паузы и запинки. Она также составляет текстовую расшифровку речи пользователя, которую разработчики могут использовать для различных приложений.

В задачах, связанных с распознаванием речи, она менее склонна к ошибкам, чем другие голосовые модели ИИ, то есть относительно хорошо понимает пользователя, даже если он бормочет, говорит с ошибками или находится в шумной обстановке. В эталонном тесте Multilingual LibriSpeech, позволяющем оценить качество распознавания речи на разных языках и диалектах, Nova Sonic показала коэффициент ошибок в словах (WER) всего 4,2 % в среднем по английскому, французскому, итальянскому, немецкому, и испанскому языках. То есть при подготовке расшифровки речи она неверно распознает примерно четыре из ста слов по сравнению с человеком.

В бенчмарке Augmented Multi Party Interaction, оценивающем качество разговора вслух с несколькими участниками, Nova Sonic оказалась на 46,7 % точнее по критерию WER, чем OpenAI GPT-4o-transcribe. Модель от Amazon также оказалась очень быстрой — её средняя задержка составила 1,09 с против 1,18 с, которую показала GPT-4o, лежащая в основе OpenAI Realtime API. Компания намеревается представить ещё несколько моделей ИИ, способных к обработке изображений, видео, голоса и «других сенсорных данных, которые необходимы при переносе в физический мир».