реклама
Новости Software

Meta✴ представила ИИ-модель Voicebox, которая генерирует и редактирует устную речь

Инженеры Meta рассказали о нейросетевой модели Voicebox, которая обладает широкими возможностями по работе с устной речью: генерация, редактирование или стилизация по образцу. Авторы проекта охарактеризовали её как прорыв в моделях речевого ИИ.

 Источник изображения: ***

Источник изображения: Meta

Voicebox озвучивает заданный текст с высоким качеством или производит обработку уже готовой записи голоса, например, удаляет из него посторонние звуки вроде автомобильных гудков и собачьего лая, сохраняя содержание и стилистику речи. При необходимости можно даже «переиграть» фрагмент записи, точечно исправив, например, неправильно произнесённое слово. Поддерживаются шесть языков: английский, французский, немецкий, испанский, польский и португальский. Voicebox может использоваться в качестве синхронного переводчика, передавая голос и манеру речи собеседника.

Модель была обучена на 50 часах аудиокниг, и этого ей хватило, чтобы овладеть навыками устной речи в полной мере: она составляет профиль голоса и манеры речи на основе образца продолжительностью всего две секунды, после чего может воспроизвести её с любым текстом. На практике эти возможности могут оказаться полезными в приложениях метавселенной, обеспечив естественное звучание голосов для виртуальных помощников и неигровых персонажей; или для слабовидящих людей — модель может озвучивать письма голосами их авторов.

Meta часто делает свои ИИ-модели общедоступными, но не на сей раз. В компании не раскрыли, на каких материалах производилось обучение Voicebox, и не предложили испытать технологию на практике — опасаются злоупотреблений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Google позволит создавать кастомных чат-ботов для индивидуального общения — в том числе, на основе знаменитостей и блогеров 20 мин.
Motorola и Google объединились для внедрения ИИ-функций в смартфоны Razr 4 ч.
Браузер Firefox версии Nightly получил ИИ-помощников ChatGPT и Gemini 5 ч.
Google решила убрать бесконечную прокрутку результатов поиска 5 ч.
Политические дипфейки оказались самой популярным направлением в злоупотреблениях ИИ 10 ч.
Forza Horizon 4 скоро снимут с продажи и удалят из Game Pass — подробности и причины 11 ч.
Игровая студия стримера Dr Disrespect разорвала с ним отношения — выяснилась причина его вечного бана на Twitch 12 ч.
Еженедельный чарт Steam: Elden Ring, новый кооперативный хит Chained Together и MMORPG от создателя EVE Online 12 ч.
Спустя три года фанаты дождались анонса Farming Simulator 25 — дата выхода, первый трейлер и предзаказ в российском Steam 14 ч.
Apple включила RCS на iPhone с выпуском второй беты iOS 18, но работает функция пока не у всех 15 ч.