VideoTech 2024 — конференция по видеотехнологиям от JUG Ru Group. В этом году она пройдет уже в четвертый раз — 19 сентября онлайн и 28–29 сентября в Санкт-Петербурге с онлайн-трансляцией.

Для кого конференция?

Организаторы ждут всех разработчиков и тестировщиков видеотехнологий, экспертов по созданию аудио- и видеоконтента, инженеров телевещания, специалистов по CV, AI и ML.

В программе — 40 докладов. О чем расскажут спикеры?

Как про отдельные технологии создания и распространения видео, так и про вопросы применения в конкретных проектах. От развития стандартов видеотехнологий и их будущего — до решения практических задач бизнеса.

Темы конференции:

• Производство видео — от железа до софта.
• Кодирование и декодирование — и проприетарное, и свободное.
• Доставка контента — куда угодно и как угодно.
• Оборудование, программы, стандарты, анализ видео, ML, AI.
• Тестирование, рендеринг и качество видео.
• Стриминг и телевещание.
• WebRTC, кодеки, плееры.

Также участников ждут три кейноута о необычных способах работы с видео:

— Режиссер анимации и компьютерной графики Тимофей Макиенко покажет, как монтировали на телевидении 90-х. Он привезет с собой старую технику: блок спецэффектов, контроллер и монтажные магнитофоны, и проведет интерактивную демонстрацию.

— Астроном Леонид Еленин, открывший первую комету в истории Российской Федерации, расскажет о методах и технологиях наблюдательной астрономии. И покажет, как компьютерная обработка изображений помогает защищать планету от опасных астероидов.

— Виктор Витюк, координатор направления беспилотной авиации поисково-спасательного отряда «ЛизаАлерт» расскажет, как квадрокоптеры и техническое зрение позволяют находить пропавших людей. Как анализ фотографий с помощью нейросетей позволяет сэкономить десятки часов работы поисковой команды.

Формат конференции

VideoTech 2024 будет идти три дня. Первый день — полностью онлайн. Это 4K-трансляция докладов и дискуссии с экспертами по видеосвязи и в чатах. Второй и третий дни — в офлайн-формате, где участники смогут не только вживую услышать спикеров и задать им вопросы, но и поговорить о технологиях в живых дискуссиях, поучаствовать в интересных активностях и конкурсах для инженеров на стендах партнеров конференции. А в конце офлайна — будет афтерпати.

Все подробности и билеты на конференцию — на сайте VideoTech 2024.

Билет на VideoTech можно купить за счет компании — «Для организаций». Или самостоятельно — «Для частных лиц». При покупке билета за свой счет используйте промокод на скидку 15% — 3DNEWS.

В минувшем месяце интернет-пользователи затратили на просмотр контента в поиске по видео «Яндекса» на 20 % больше времени, чем в августе прошлого года. Такую статистику приводит информационное агентство ТАСС со ссылкой на пресс-службу компании.

Источник изображения: «Яндекс»

Также пользователи стали чаще обращаться к сервису для поиска видео — на 25 % больше год к году увеличилось число поисковых сессий. При этом количество пользователей, воспользовавшихся сервисом как с компьютеров, так и с мобильных устройств, увеличилось на 20 процентов.

В пресс-службе также отметили увеличение числа пользователей, которые осуществляют поиск в интернете с помощью виртуального помощника «Алисы» в умных устройствах «Яндекса» и на мультимедийной платформе YaOS. Виртуальный ассистент использует поиск по видео и отражает его результаты на дисплее телевизора или умной колонки.

«Общее число пользователей поиска по видео в августе выросло на 12 % относительно такого же периода прошлого года. Аналитики “Яндекса” наблюдают дальнейший рост показателей сервиса, судя по данным за первые дни сентября 2024 года», — рассказали в пресс-службе компании.

Компания ранее добавила в поиск по видео несколько инструментов, позволяющих упростить поиск нужного контента. В прошлом месяце в поиске появился детектор медленной загрузки, использующий алгоритмы для определения контента с более продолжительной, чем обычно, загрузкой, и предлагающий альтернативу с других площадок. Также теперь можно включить на сервисе фильтр, чтобы видеть в результатах поиска видео только с тех платформ, где нет проблем с загрузкой контента, или просто исключить из поисковой выдачи YouTube-ролики. При этом в результатах поиска сервис будет показывать выше тот контент, у которого нет проблем со скоростью загрузки.

VK объявила о внедрении видеокодека AV1 на своих платформах «VK Видео», «ВКонтакте» и «Одноклассники», став первой российской компанией, использующей эту технологию, сообщает Forbes. AV1 позволяет сжимать медиаданные до трёх раз лучше, чем H.264 — самый распространённый на сегодня видеокодек.

Источник изображения: VK

AV1, разработанный в 2018 году и используемый такими компаниями, как YouTube, Google, Netflix, Microsoft, обеспечивает значительно более эффективное сжатие видео по сравнению с кодеком H.264, что позволяет существенно уменьшить размер файлов без потери качества. Например, 40-минутное шоу в разрешении 4K, закодированное с помощью AV1, будет занимать на диске всего 2 Гбайт, в то время как при использовании H.264 размер файла составил бы 6-8 Гбайт.

AV1 является открытым стандартом, что особенно актуально в условиях санкций и ухода зарубежных IT-гигантов с российского рынка. «Наибольшей поддержкой индустрии сегодня пользуется именно AV1, практически все крупнейшие видеохостинги внедряют его. А по уровню сжатия AV1 превосходит платный HEVC», — комментирует Игорь Бедеров, руководитель департамента расследований T.Hunter и эксперт рынка НТИ SafeNet.

По данным источников Forbes, стоимость перехода составила около 100 млн рублей. В VK рассказали, что основные инвестиции ушли в серверы, разработку, а также внедрение нового кодека. Переход на новый формат уже привёл к снижению нагрузки на кеширующие серверы и сети VK на 25-45 % и повышению плотности хранения контента на 30 %. Таким образом, компания оптимизировала свою инфраструктуру и повысила эффективность работы сервисов, что особенно актуально в условиях замедления работы YouTube.

Стоит сказать, что внедрение AV1 в VK не является случайным и обусловлено не только текущей ситуацией на рынке, но и общими тенденциями развития отрасли.

Отмечается, что с момента запуска приложения «VK Видео» в сентябре 2023 года его установили более 20 млн раз. Видеотрафик ресурсов VK с начала года вырос на 30 %, а просмотры развлекательных шоу в высоком разрешении «увеличились на порядок». По мнению экспертов, улучшение качества и доступности видео на платформах VK может привлечь новых пользователей, которые ищут альтернативу YouTube.

Китайский стартап MiniMax, работающий в сфере искусственного интеллекта, представил алгоритм video-1, который генерирует небольшие видеоклипы на основе текстовых подсказок. Генератор video-1 был представлен широкой публике на прошедшей несколько дней назад в Шанхае первой конференции разработчиков компании, а позднее стал доступен всем желающим на веб-сайте MiniMax.

Источник изображения: scmp.com

С помощью video-1 пользователь может на основе текстового описания создавать видеоролики продолжительностью до 6 секунд. Процесс создания такого ролика занимает около 2 минут. Основатель MiniMax Ян Цзюньцзе (Yan Junjie) рассказал на презентации, что video-1 является первой версией алгоритма генерации видео по текстовым подсказкам, отметив, что в будущем нейросеть сможет создавать ролики на основе статических изображений, а также позволит редактировать уже созданные клипы.

Появление video-1 отражает стремление китайских технологических компаний продвинуться в зарождающемся сегменте рынка ИИ. Генератор видео был представлен всего через несколько месяцев после анонса нейросети Sora компании OpenAI, которая также позволяет создавать видео по текстовым подсказкам. Что касается MiniMax, то компания была основана в декабре 2021 года и с тех пор она проделала немалую работу. Новый инструмент video-1 предлагается в рамках платформы MiniMax под названием Hailuo AI, которая ориентирована на потребительский рынок и уже предоставляет доступ к функциям генерации текстов и музыки с помощью нейросетей.

Помимо MiniMax, разработкой ИИ-алгоритмов для генерации видео из текста занимаются и другие китайские компании. Пекинский стартап Shengshu AI в июле запустил собственный генератор видео из текста на китайском или английском языках под названием Vidu. Стартап Zhipu AI стоимостью более $1 млрд в том же месяце представил свой аналог Sora, который может создавать небольшие видео на основе текстовых подсказок или статических изображений.

Владелец TikTok и Douyin, компания ByteDance, в прошлом месяце опубликовала в китайском App Store приложение Jimeng text-to-video для генерации видео из текста, а ещё ранее оно появилось в местных магазинах Android-приложений. Jimeng позволяет создать бесплатно 80 изображений или 26 видео, а для более активного взаимодействия с нейросетью предлагается оформить подписку за 69 юаней (около $10). В прошлом месяце компания Alibaba Group Holding объявила о разработке алгоритма для генерации видео под названием Tora, основанного на модели OpenSora.

Отметим, что среди инвесторов MiniMax есть крупные IT-компании, такие как Alibaba, Tencent Holdings и miHoYo (создатель Genshin Impact). Очередной раунд финансирования прошёл весной и после его завершения рыночная стоимость MiniMax оценивалась более чем в $2 млрд.

VK поместила видеоматериалы своих платформ «VK Видео», «Дзен» и «ОК.Видео» в единое облачное хранилище, говорится в пресс-релизе компании. Суммарный объём ресурса составил 1,5 Эбайт или 1,5 млрд Гбайт — он самый крупный среди всех российских платформ.

Источник изображения: ilgmyzin / unsplash.com

Выбранный компанией режим one-cloud помогает защитить данные. При выходе отдельных хранилищ из строя данные, которые находятся в дата-центрах VK, восстанавливаются в автоматическом режиме и копируются на новые носители. При этом дублирование контента сведено к минимуму. «Если пользователи повторно загружают одно и то же видео на одну из платформ, то хранилище автоматически удаляет дубли», — рассказал технический директор «ВКонтакте» и «VK Видео» Сергей Ляджин.

Потребность в таком механизме собственной разработки возникла из-за замедления доступа к YouTube в России, которое началось в августе. Этим летом на ресурсах VK пиковый объём загружаемого контента доходил до 1 Пбайт в день — материалы включают видео, опубликованные блогерами, прочий пользовательский контент, а также сериалы, мультфильмы и спортивные трансляции. Наконец, размещение всего видео в едином облачном пространстве способствует более эффективной настройке рекомендательных алгоритмов компании, «помогая авторам повышать охваты, а пользователям находить релевантный и интересный контент».

Видеосервис «VK Видео» продолжает демонстрировать уверенный рост на фоне замедления работы YouTube в России. Как сообщает пресс-служба компании, общий видеотрафик VK с начала года увеличился на 30 %. Особой популярностью пользуются развлекательные шоу в HD-качестве, просмотры которых, по данным компании, «выросли на порядок».

Источник изображения: geralt/Pixabay

Значительный рост также наблюдается в сегментах детского и спортивного контента. Трафик видео с детским контентом увеличился более чем в 4,5 раза, а со спортивным — в пять раз.

В VK связывают рост популярности платформы с расширением собственной сети доставки контента (CDN). «Теперь более 150 CDN-узлов с кеш-серверами охватывают всю территорию России и страны СНГ, в том числе Казахстан, Белоруссию, Узбекистан и Таджикистан», — передаёт Forbes. Это позволит получать доступ к контенту с максимальной скоростью.

Елена Якупова, заместитель вице-президента VK по инфраструктуре и прикладным сервисам, отметила, что пропускная способность сети VK достигла 40 Тбит/с. «Этого будет достаточно, даже если ежедневная аудитория сервисов VK вырастет одномоментно в два раза», — подчеркнула она.

Напомним, рост популярности платформы «VK Видео» происходит на фоне проблем с доступом к YouTube в России. Российские операторы связи, в том числе МТС и «Билайн», в конце июля начали предупреждать о предстоящем ухудшении работы видеохостинга, и уже 8 августа в его работе произошёл масштабный сбой, после которого операторы отметили скачок общего объёма трафика на 5-10 %.

Эксперты связывают замедление работы YouTube с действиями Роскомнадзора, который, по их мнению, блокирует видеосервис с помощью технических средств противодействия угрозам (ТСПУ). Глава комитета по информполитике Госдумы Александр Хинштейн ранее отмечал, что «деградация» YouTube является вынужденным шагом, направленным не против российских пользователей, а против администрации иностранного ресурса. Официально российские власти объясняют замедление работы YouTube прекращением поддержки инфраструктуры кеширующих серверов Google в России.

С начала 2024 года общий видеотрафик в России вырос на 30 %. CDN-сеть предназначена для ускорения доступа к контенту за счёт размещения в ключевых узлах сети кэширующих серверов. Обновлённая CDN-сеть VK теперь включает более 150 узлов с кэш-серверами, которые охватывают все федеральные округа РФ, а также страны СНГ. Благодаря этому скорость загрузки для посетителей из России, Казахстана, Таджикистана, Узбекистана и Белоруссии возрастает на 20–30 %.

Источник изображения: Pixabay

«Технические улучшения помогут пользователям комфортно взаимодействовать с сайтами VK независимо от их местоположения. Без задержек смотреть видео в высоком разрешении, слушать музыку, общаться, осваивать новые профессии и решать множество других задач», — сообщила заместитель вице-президента компании по инфраструктуре и прикладным сервисам Елена Якупова.

За год с момента официального запуска проекта в сентябре прошлого года приложение «VK Видео» было установлено на 11 млн устройств под управлением ОС Android, на 6 млн смарт-телевизоров Android TV и на 3 млн телефонов и планшетов под управлением iOS. Пиковое количество установок — 2 млн — было зафиксировано в июле. За первую неделю августа 2024 года прирост аудитории увеличился в 2,2 раза по сравнению со среднемесячными показателями июля, достигнув пика в 2,5 млн пользователей в сутки.

«Пропускная способность стыков с операторами связи выросла вдвое по сравнению с 2023 г. А производительность сети VK до 40 Тбит/с. Этого будет достаточно, даже если ежедневная аудитория сервисов VK вырастет одномоментно в два раза», – добавила Елена Якупова.

6 августа «VK Видео» и RuTube вошли в тройку лидеров по числу установок приложений в России. По данным VK, количество установок «VK Видео» в августе выросло в 4,5 раза относительно среднемесячных значений.

В App Store вышла версия приложения «VK Видео», предназначенная для iPad. Владельцы планшетных компьютеров Apple смогут воспользоваться преимуществами адаптивного интерфейса для просмотра видео в вертикальном и горизонтальном режимах.

Источник изображения: apps.apple.com

В приложении «VK Видео» для iPad можно создавать плейлисты, есть функции отложенного просмотра, управления подписками и уведомлениями, можно также выбрать качество видео в зависимости от скорости подключения к интернету. Интерфейс приложения, утверждает разработчик, удобен и интуитивно понятен, благодаря чему зрители смогут быстро и легко находить на платформе интересующие их видео.

Пользователи «VK Видео» могут смотреть любое доступное в приложении видео даже без авторизации. Здесь есть фильмы и сериалы, созданные блогерами записи, спортивные трансляции и кулинарные шоу, а также образовательные материалы.

Контент в приложении разбит на девять разделов. В секции «Для вас» предлагаются рекомендации на основе того, что зритель смотрел ранее, что он загрузил, отметил как понравившееся или добавил в закладки. В «Трендах» можно ознакомиться с наиболее популярными и обсуждаемыми на платформе видео. Есть раздел «Детям», а также секции «Фильмы», «Сериалы», «Шоу», «Спорт» и «Киберспорт и игры», где можно найти контент на любой вкус. Наконец, есть раздел «Трансляции» со стримами традиционного спорта и киберспорта, концертов, а также эфирами телеканалов.

Федеральная антимонопольная служба (ФАС) призвала крупные торговые сети, в том числе DNS, «Ситилинк» и «М.видео» в добровольном порядке ограничить цены и наценки на некоторые товары в категориях электроники и бытовой техники.

Источник изображения: dns-shop.ru

Эта мера, по мнению ведомства, поможет не допустить роста цен на эти товары, сделает их доступнее и положительно повлияет на рынок в целом. «Ведомство также напоминает участникам рынка о важности соблюдения принципов ответственного ценообразования и недопущения необоснованного роста цен», — говорится в заявлении ФАС. В «М.видео» пообещали в ближайшее время подготовить перечень товаров, цены на которые будут зафиксированы с конца августа по конец сентября; в «Ситилинке» инициативу ФАС «концептуально» поддержали и также пообещали подготовить список товаров; в DNS от комментариев отказались, передаёт РБК.

После введения очередного пакета европейских санкций в отношении России эксперты рынка выразили мнение, что к осени цены на электронику могут вырасти — усложнятся механизмы международных расчётов и параллельного импорта. С началом украинских событий из России ушли многие иностранные производители, и их продукция стала завозиться в страну через параллельный импорт — в обход официальных поставок. Это коснулось, в частности, компаний Samsung, HP, LG, Bosch и Apple, некоторые из которых прекратили сборку своей продукции в стране.

После включения механизмов параллельного импорта диспозиция брендов на российском рынке значительно изменилась. По итогам первой половины 2024 года пятёрку наиболее популярных брендов смартфонов составили Redmi, Tecno, Realme, Infinix и Samsung, тогда как Apple из неё вылетела. В категории ноутбуков MSI уступила лидерство Asus и Huawei.

В «Яндекс Поиске» и «Яндекс Браузере» появился детектор медленной загрузки видеороликов. Благодаря новому инструменту пользователи, столкнувшиеся с долгой загрузкой и «зависаниями» видео, получили возможность быстро найти тот же контент на других ресурсах. В случае отсутствия полного аналога сервис предложит выбор из наиболее похожего материала.

Источник изображений: Яндекс

«Когда Поиск по видео индексирует на нескольких площадках одинаковые ролики, он объединяет их в "дубли", а затем показывает как альтернативу контенту с медленной загрузкой», — объяснили в пресс-службе. Система теперь сама определяет видео, загрузка которого превышает типичные показатели, и предлагает пользователю посмотреть его на других площадках.

Аналогичным образом работает детектор медленной загрузки роликов в «Яндекс Браузере»: при возникновении задержек с загрузкой видео пользователю будет предложено найти этот же или похожий контент на других ресурсах. Инструмент уже доступен в десктопной версии веб-обозревателя, а в мобильной версии должен появиться в ближайшее время.

Ранее сообщалось, что приложение «VK Видео» стало лидером по скачиванию в российских софтверных маркетах на фоне проблем с работой YouTube. Сегодня пресс-служба социальной сети VK сообщила, что клиентская программа достигла 20 млн установок на мобильных устройствах и смарт-телевизорах с момента официального запуска в сентябре 2023 года.

Источник изображения: «VK Видео»

За год приложение «VK Видео» было установлено на 11 млн устройств под управлением ОС Android, на 6 млн смарт-телевизоров Android TV и на 3 млн телефонов и планшетов под управлением iOS. Пиковое количество установок — 2 млн — было зафиксировано в июле.

«За первую неделю августа прирост аудитории standalone-приложения увеличился в 2,2 раза по сравнению со среднемесячными показателями июля, достигнув пика в 2,5 млн пользователей в сутки, включая как мобильные устройства, так и смарт-телевизоры. Суммарное суточное время просмотра в приложении увеличилось в 2,6 раза и превысило 5 млн часов», — сообщил представитель VK.

В июне этого года сервис вертикальных видео «VK Клипы» впервые обошёл по популярности китайский видеосервис TikTok, пишет РБК со ссылкой на статистику единого измерителя интернет-аудитории в России Mediascope. Согласно данным Mediascope, количество человек, хотя бы раз за месяц воспользовавшихся «VK Клипами», в июне 2024 года составило 66,6 млн, тогда как охват TikTok в России в этом месяце равнялся 64,3 млн человек. Для сравнения, охват «VK Клипов» в июне прошлого года составлял 56,8 млн пользователей.

Источник изображения: vk.com

В этом году аудитория «VK Клипов» месяц к месяцу пополняется новыми пользователям. Если в мае 2024 года охват видеосервиса составлял 66,4 млн человек, в апреле — 65,3 млн, то в июне показатель вырос до 66,6 млн.

РБК отметил, что число российских пользователей TikTok не отличается стабильностью месяц к месяцу. В этом году его охват колебался в диапазоне от 64,3 млн человек и июне (годовой минимум) до 68,4 млн в марте. В июне прошлого года этот показатель у TikTok был равен 64,6 млн человек.

Комментируя итоги «VK Клипов» в июне, в пресс-службе «ВКонтакте», сообщили, что за последний год разработчики сервиса немало сделали для роста популярности: были выпущены новый видеоредактор, пользовательские шаблоны и тематические плейлисты, а также внедрена запись закадрового голоса. В 2024 году разработчики сосредоточились на развитии алгоритмов рекомендаций платформы: «По итогам II квартала 2024 года ежедневные просмотры выросли на 84 % (год к году) — до 1,7 млрд, число опубликованных клипов увеличилось на 56 %, а число создателей контента — на 39 %. Время, проводимое пользователями в “VK Клипах”, выросло почти в 3 раза».

Директор по цифровым технологиям NMi Group Анна Планина, комментируя статистику Mediascope, назвала «ВКонтакте» единственной альтернативой не только TikTok, но и западным соцсетям, а также видеохостингу YouTube. Признавая то, что TikTok остаётся самой популярной соцсетью среди подростков, она отметила, что её охваты в целом в России снижаются, в то время как видеосервис соцсети «ВКонтакте» демонстрирует рост. «Мы рассматриваем этот сервис как перспективный формат для рекламодателей с учётом потенциального роста охватов и рекламного инвентаря за счёт перетекания аудитории из заблокированных и ограниченных платформ», — заявила Планина.

Рост интереса рекламодателей к «VK Клипам» подтверждает руководитель отдела маркетинга в социальных медиа OMD OM Fuse Анна Козырева. По её словам, за авторами контента пришли и бренды, которые активно используют для продвижения, например, челленджи (задания, которые блогеры выполняют на видео), а также напрямую размещают интеграции своих продуктов у инфлюенсеров.

Основатель коммуникационного агентства Didenok Team Кирилл Диденок назвал в числе причин роста «VK Клипов» постепенное улучшение интерфейса самого приложения, в котором стало удобнее публиковать новые видео.

YouTube начал развёртывать функцию примечаний сообщества для ограниченного контингента пользователей. Пользователи соцсетей начали публиковать скриншоты официального приглашения платформы принять участие в тестировании новой функции.

Источник изображения: Christian Wiediger / unsplash.com

О работе над функцией администрация YouTube рассказала в июне. Она позволяет пользователям платформы отправлять короткие заметки, которые предоставляют дополнительный контекст или корректируют информацию из сопутствующего видео. Официальной даты запуска новой функции ещё нет, но информация о ней уже появилась в справочном разделе платформы.

Предварительная версия функции доступна только для англоязычных пользователей мобильной версии в США. Ранее администрация YouTube сообщала, что приглашения принять участие в её тестировании будут отправляться через электронную почту или сообщения от учётной записи Creator Studios. От участников программы компания ждёт отзывов, которые помогут платформе ранжировать примечания как «полезные», «в некоторой степени полезные» и «бесполезные» — вероятно, функция станет общедоступной только после этого.

Приложение «VK Видео» стало лидером по скачиванию из магазинов приложений в России на фоне проблем с работой YouTube. Эта информация подтверждена как VK, так и Google Play и App Store. В тройку самых популярных приложений App Store попали также Rutube и TikTok, а Google Play сообщает о резком росте популярности «Дзен» и приложения для просмотра смешных изображений. По данным VK, количество установок «VK Видео» выросло в 4,5 раза относительно среднемесячных значений.

Источник изображения: «VK Видео»

VK запустила приложение «VK Видео» 20 сентября 2023 года. Предполагалось, что оно может стать полноценной альтернативой YouTube. Приложение не только позволяет пользователю смотреть видео и стримы, но и даёт возможность загрузки на платформу собственного контента.

Эксперт по информационным технологиям, директор компании «ИТ-Резерв» Павел Мясоедов полагает, что, хотя в основном рост установок «VK Видео» в моменте объясняется замедлением работы YouTube, «российская платформа активно развивается и в борьбе за потребителя наполнение контентом будет происходить быстро».

Ранее сообщалось, что среднесуточная аудитория Rutube среди россиян старше 12 лет в июне выросла в 2,1 раза по сравнению с началом лета 2023 года — до 4,4 млн человек. Взрывной рост популярности российских видеосервисов начался после замедления работы YouTube, о котором в конце июля объявил глава комитета Госдумы по информационной политике Александр Хинштейн.

На фоне популярности генеративных нейросетей уже доступно множество ИИ-алгоритмов для создания видео, таких как Sora, Haiper и Luma AI. Разработчики из Stability AI представили нечто совершенно новое. Речь идёт о нейросети Stable Video 4D, которая опирается на существующую модель Stable Video Diffusion, позволяющую преобразовывать изображения в видео. Новый инструмент развивает эту концепцию, создавая из получаемых видеоданных несколько роликов с 8 разными перспективами.

Stable Diffusion 3

«Мы считаем, что Stable Video 4D будет использоваться в кинопроизводстве, играх, AR/VR и других сферах, где присутствует необходимость просмотра динамически движущихся 3D-объектов с произвольных ракурсов», — считает глава подразделения по 3D-исследованиям в Stability AI Варун Джампани (Varun Jampani).

Это не первый случай, когда Stability AI выходит за пределы генерации двумерного видео. В марте компания анонсировала алгоритм Stable Video 3D, с помощью которого пользователи могут создавать короткие 3D-ролики на основе изображения или текстового описания. С запуском Stable Video 4D компания делает значительный шаг вперёд. Если понятие 3D или три измерения обычно понимается как тип изображения или видео с глубиной, то 4D, не добавляет ещё одно измерение. На самом деле 4D включает в себя ширину (x), высоту (y), глубину (z) и время (t). Это означает, что Stable Video 4D позволяет смотреть на движущиеся 3D-объекты с разных точек обзора и в разные моменты времени.

«Ключевые аспекты, которые позволили создать Stable Video 4D, заключаются в том, что мы объединили сильные стороны наших ранее выпущенных моделей Stable Video Diffusion и Stable Video 3D, а также доработали их с помощью тщательно подобранного набора данных динамически движущихся 3D-объектов», — пояснил Джампани. Он также добавил, что Stable Video 4D является первым в своём роде алгоритмом, в котором одна нейросеть выполняет синтез изображения и генерацию видео. В уже существующих аналогах для решения этих задач используются отдельные нейросети.

«Stable Video 4D полностью синтезирует восемь новых видео с нуля, используя для этого входное видео в качестве руководства. Нет никакой явной передачи информации о пикселях с входа на выход, вся эта передача информации осуществляется нейросетью неявно», — добавил Джампани. Он добавил, что на данный момент Stable Video 4D может обрабатывать видео с одним объектом длительностью несколько секунд с простым фоном. В дальнейшем разработчики планируют улучшить алгоритм, чтобы он мог использоваться для обработки более сложных видео.