Сегодня Meta✴ представила SeamlessM4T, первую универсальную мультимодальную и многоязычную модель перевода с использованием ИИ, которая позволяет пользователям общаться, не замечая языковых барьеров. SeamlessM4T на данный момент доступна исследователям и разработчикам под соответствующей лицензией. Также опубликованы метаданные SeamlessAlign, крупнейшего открытого набора данных для мультимодального перевода, включающего 270 000 часов изученной речи.
Источник изображения: Meta✴
Создание универсального языкового переводчика, подобного вымышленной «Вавилонской рыбке» из романов Дугласа Адамса «Автостопом по Галактике», является непростой задачей, а существующие системы преобразования речи в речь и речи в текст охватывают лишь небольшую часть языков мира. SeamlessM4T основана на достижениях исследователей всего мира за многие годы в стремлении создать универсальный переводчик. По сравнению с подходами, использующими отдельные модели, единый системный подход SeamlessM4T уменьшает количество ошибок и задержек, повышая эффективность и качество процесса перевода.
Прикольный гаджет! / Источник изображения: Фильм «Автостопом по Галактике»
В прошлом году разработчики Meta✴ выпустили No Language Left Behind (NLLB), модель машинного перевода текста в текст, которая поддерживает 200 языков и с тех пор интегрирована в Википедию в качестве одного из поставщиков услуг перевода. Ранее они продемонстрировали универсальный переводчик речи, который стал первой системой прямого преобразования речи в речь для южноминьского языка (диалект китайского). Ещё один языковой проект Meta✴ — Massively Multilingual Speech, система по распознаванию, идентификации и синтезу речи на более чем 1100 языках.
SeamlessM4T опирается на результаты всех этих проектов, обеспечивая многоязычный и мультимодальный перевод на основе единой модели, построенной на широком спектре устных источников данных с самыми современными результатами. SeamlessM4T поддерживает:
SeamlessM4T — очередной шаг в усилиях исследователей по созданию технологии на базе ИИ, которая поможет соединять людей, говорящих на разных языках. Узнать больше о SeamlessM4T можно в блоге Meta✴ AI.