«Яндекс.Браузер» научился переводить видео с китайского языка

Новая функция представлена «Яндексом» в браузере собственной разработки. Теперь он получил возможность осуществлять перевод и закадровую озвучку видео с китайского языка на русский. Для обучения нейросеть использует огромный массив видео на китайском языке, анализируя полученные данные.

Источник изображения: «Яндекс»

Перевод осуществляется в несколько этапов. При этом нейросеть учитывает тон и контекст речи в видеопотоке. В компании подчеркнули, что ИИ способен различать четыре тона — данные фонетические особенности произношения способны значительно менять смысл почти любого высказывания в китайском языке. Кроме того, система «Яндекса» различает 6,5 тыс. иероглифов.

Как сообщают «Ведомости», для обучения ИИ компания использовала 100 тыс. видеоматериалов с субтитрами на севернокитайском языке, наиболее распространённом на территории Китая.

Для того, чтобы зритель мог воспользоваться переводом и озвучкой с китайского на русский язык, необходимо нажать кнопку «Перевести видео» в «Яндекс.Браузере». Сообщается, что технологией уже можно воспользоваться на YouTube.

Ранее сообщалось о том, что «Яндекс» внедрил многоголосый закадровый перевод видео и возможность синхронного перевода прямых трансляций.

В переводе видео принимают участие сразу четыре нейросети. Одна из них распознаёт речь с последующим преобразованием в текстовый формат, ещё одна идентифицирует пол говорящего по биометрическим данным, третья определяет, в каких местах необходимо расставлять знаки препинания и выделить смысловые фрагменты. Наконец, четвёртая переводит текст.