Компания Adobe на своём мероприятии Adobe Max продемонстрировала работу технологии Res-Up, которая позволяет значительно улучшить качество анимированных GIF-изображений и видео с низким разрешением. Решение пока не является общедоступным, и опробовать его всем желающим не получится, но его потенциал впечатляет.

Источник изображений: Adobe

Технология Adobe Res-Up предлагает увеличение изображения за счёт диффузии — одного из методов генеративного искусственного интеллекта; она позволяет повышать резкость и детализацию картинки. В одном из примеров Adobe продемонстрировала работу с фрагментом фильма «Красный дом» (The Red House) 1947 года — его разрешение было увеличено с 480 × 360 до 1280 × 960 пикселей.

Полученные при помощи ИИ кадры стали намного чётче: алгоритм убрал большую часть размытости и даже добавил новые детали, такие как пряди волос и блики. Картинка смотрится немного неестественно, что, впрочем, свойственно многим изображениям и видеороликам, полученным с ИИ, но это заметный шаг вперёд по сравнению технологией Video Super Resolution от Microsoft.

Достоин внимания ещё один пример с небольшим фрагментом видео, на котором изображён слонёнок: алгоритм сделал видео намного более чётким и снова добавил новые детали, в том числе морщины на коже. Только на этот раз картинка смотрится более естественной — подрисованные морщины органично двигаются вместе с животным. Adobe пока не готова сделать технологию Res-Up общедоступной, но не исключено, что она в перспективе будет интегрирована в программы Adobe Premiere Pro или Express.

Компания AMD в рамках своего мероприятия Gaming Festival 2023 на выставке Gamescom сообщила, что поддержку технологии масштабирования изображения FidelityFX Super Resolution (FSR) версии 3 первыми получат две игры — Forspoken и Immortals of Aveum. В перспективе список поддерживаемых игр будет расширяться. Важной особенностью технологии станет технология генерации дополнительных кадров, что повысит FPS в играх.

Источник изображений: AMD

В составе новой версии FSR используется технология генерации дополнительных кадров в играх Fluid Motion Frames (FMF), которую можно сравнить с технологией генератора кадров DLSS3 Frame Generation от компании NVIDIA. Последняя значительно повышает FPS в играх, генерируя дополнительные кадры на основе данных о предыдущих, но вместе с этим увеличивает время задержки.

Сокращение времени задержки также будет ключевым направлением для FSR 3, поскольку компания понимает, что геймерам нужны не только высокая частота кадров в играх, но и максимально быстрый отклик на действия игрока. В AMD отметили, что интеграция FSR 3 в игры, где уже присутствует поддержка FSR 2, не будет представлять никаких сложностей.

Первыми играми, в которых будут использованы возможности FSR 3, являются Forspoken и Immortals of Aveum. Первая вышла в январе и судя по обзорам и отзывам игроков не оправдала ожиданий. Вторая в свою очередь была выпущена несколько дней назад. Это первая игра, использующая игровой движок Unreal Engine 5.1.

На сегодняшней презентации AMD показала возможности FSR 3 в игре Forspoken, запущенной в разрешении 4K, при использовании максимальных настроек качества изображения с трассировкой лучей. Для демонстрации был выбран режим FSR 3 «Производительность». Благодаря этому частота кадров игры увеличилась более чем в три раза.

Минимальные требования для FSR 3 подразумевают наличие видеокарты уровня Radeon RX 5000 и новее или же видеокарт NVIDIA GeForce RTX 2000 и новее. Поддержка FSR 3 будет распространяться по лицензии MIT. Технология будет также совместима с консолями. AMD ожидает, что патчи с поддержкой FSR 3 для Forspoken и Immortals of Aveum выйдут во второй половине сентября.

NVIDIA анонсировала технологию интеллектуального масштабирования изображения DLSS 3.5, важнейшим преимуществом которой стала реконструкция трассировки лучей (Ray Reconstruction) — нейросеть, заменяющая стандартные алгоритмы шумоподавления.

Источник изображений: nvidia.com

Трассировка лучей для каждого пикселя на изображении — чрезвычайно требовательная к ресурсам задача даже для профессиональных приложений, от которых не требуется обработка данных в реальном времени. Поэтому применяются обходные методы, такие как просчёт лучей по образцам: трассировка производится для отдельных точек сцены, число которых достаточно велико для получения репрезентативной выборки освещения, отражательной способности и затемнённых участков.

Алгоритмы подавления шума чреваты потерей качества и детализации

На выходе получается сильно зашумлённое изображение, но его достаточно, чтобы оценить, как должна выглядеть сцена при полноценной трассировке лучей. Чтобы получить результаты по всем пикселям, производится временная и пространственная интерполяции — по сути, алгоритм шумоподавления «крадёт» лучи из прошлого и смешивает пиксели с соседними, что чревато понижением качества картинки, например, возникновением «ореолов», и потерей детализации.

Ray Reconstruction обладает рядом преимуществ перед шумоподавителями

Решением проблемы является технология реконструкции лучей — она подменяет стандартные подавители шума нейросетью, при обучении которой использовалось в пять раз больше данных, чем при разработке DLSS 3, а образцами служили изображения, получение которых в реальном времени было бы невозможным. Нейросеть распознаёт различные эффекты трассировки лучей, принимая более разумные решения для интерполяции по времени и пространству — она обучена различать «плохие» и «хорошие» пиксели, благодаря чему обеспечивается более качественный результат.

Технология работает совместно с другими решениями NVIDIA: алгоритмом DLSS Super Resolution, который выстраивает 4K-изображения по образцу более низкого разрешения, а также DLSS Frame Generation (только для видеокарт серии NVIDIA GeForce RTX 40) — он генерирует дополнительные промежуточные кадры на основе соседних, повышая тем самым плавность движения.

Дебют NVIDIA DLSS 3.5 состоится этой осенью. Технология дебютирует в играх Cyberpunk 2077: Phantom Liberty, Portal with RTX и Alan Wake 2, а также в программах NVIDIA Omniverse, Chaos Vantage и D5 Renderer.

Компания Intel выпустила обновление для фирменной технологии масштабирования изображения Xe Super Sampling (XeSS) версии 1.2. Список изменений оказался весьма скромным для столь крупного апдейта.

Источник изображений: VideoCardz / Intel

В новой версии XeSS появилась поддержка динамического масштабирования разрешения. Кроме того, были проведены оптимизации, в том числе была улучшена производительность и повышена стабильность работы апскейлера.

Также новая версия XeSS является обратно совместимой технологией. Иными словами, для интеграции XeSS 1.2 в игры с поддержкой XeSS 1.0 и 1.1 потребуется только замена библиотек DLL на новые.

Самая последняя версия XeSS 1.2.0.13 пока ещё не используется ни в одной из представленных на рынке игр. Однако в игре Ratchet and Clank: Rift Apart применяется XeSS версии 1.2.0.10. Intel также выпустила обновлённую версию SDK для разработчиков игр для интеграции её технологии масштабирования в игры.

В открытый доступ исходный код технологии XeSS, содержащийся в ключевой DLL-библиотеке libxess.dll, до сих пор так и не попал, хотя компания обещает сделать свою технологию открытой ещё с 2021 года. Не исключено, что это произойдет после выхода видеокарт серии Battlemage, которые придут на смену Arc Alchemist.

Технология масштабирования изображения Intel XeSS является альтернативой таким технологиям, как AMD FSR и NVIDIA DLSS. Апскейлер поддерживается не только графическими решениями Intel, но и игровыми процессорами AMD и NVIDIA, но на программном уровне.

В начале этого года компания NVIDIA представила технологию RTX Video Super Resolution, которая представляет собой аналог ИИ-масштабирования DLSS и позволяет масштабировать потоковое видео с разрешением Full HD до разрешения 4K с улучшением его качества. С тех пор поддержка этой технологии появилась в некоторых браузерах на базе Chromium. Теперь же стало известно, что возможность использования VSR получат пользователи браузера Mozilla Firefox.

Источник изображения: NVIDIA

Информация о появлении упомянутой функции появилась от инсайдеров и на данный момент об интеграции VSR официально не объявляли ни Mozilla Foundation, ни NVIDIA. Вероятно, реализация поддержки VSR в Firefox находится на начальной стадии, поэтому потребуется некоторое время, прежде чем эта функция станет доступна пользователям стабильных версий обозревателя. Для активации VSR в Firefox необходимо перейти в настройки приложения и в строке поиска набрать about:config. После этого на вкладке Preferences нужно найти параметр gfx.webrender.super-resolution.nvidia и установить для него значение True.

Технология VSR использует ИИ-алгоритмы для повышения качества потокового видео. В процессе обработки осуществляется сглаживание квадратных артефактов на гранях объектов в кадре с последующим масштабированием разрешения видео до более высокого. За счёт этого исходное видео выглядит значительно более качественным на мониторах с высоким разрешением. Например, использование VSR позволяет улучшить качество видео Full HD до 4K.

В настоящее время технология VSR поддерживается в нескольких браузерах на базе Chromium, а также в медиапроигрывателе VLC Media Player. Ожидается, что в будущем она получит более широкое распространение. Для доступа к технологии VSR пользователям необходимо обзавестись видеокартой GeForce RTX 3000 или GeForce RTX 4000.

Технологии масштабирования изображения NVIDIA DLSS, AMD FSR и Intel XeSS, поддерживающиеся современными видеокартами соответствующих производителей, могут значительно повысить производительность в играх без серьёзных компромиссов в качестве. Однако большинство игр не поддерживают все три технологии сразу. Но проблема заключается не в технологических особенностях каждой из этих технологий, как могло бы показаться на первый взгляд, а в маркетинге.

Источник изображения: NVIDIA

По словам Нико ван Бентума (Nico van Bentum), программиста графики из компании Nixxes Software, реализовать поддержку сразу всех трёх апскейлеров в той или иной игре на самом деле несложно, поскольку все три API очень похожи между собой. Именно поэтому энтузиасты и моддеры имеют возможность самостоятельно добавлять поддержку DLSS и XeSS в игры с FSR 2 или наоборот.

«У нас есть относительно простая оболочка вокруг DLSS, FSR2 и XeSS. Все три API сегодня настолько похожи друг на друга, что на самом деле оправданий [не добавлять их все в одну игру] нет», — заявил разработчик Nixxes Software на своей странице в Twitter.

Одна из самых ожидаемых игр этого года, Starfield от Bethesda, похоже, не получит официальную поддержку технологии NVIDIA DLSS 3, поскольку AMD договорилась с разработчиком игры по вопросу её оптимизации для видеокарт Radeon. Однако в этом вопросе на помощь готов прийти моддер PureDark, который ранее весьма успешно интегрировал поддержку DLSS 3 в игры, которые эту технологию официально не поддерживают. К настоящему моменту энтузиаст самостоятельно «встроил» поддержку технологии масштабирования NVIDIA в такие игры, как Elden Ring и Star Wars Jedi: Survivor.

Компания Intel сообщила, что её технология масштабирования изображения XeSS теперь поддерживается в более чем 50 различных играх и приложениях. Поддержка осуществляется как в старых играх, так и последних новинках. При должном развитии XeSS способна зарекомендовать себя в качестве достойного конкурента другим технологиям масштабирования, включая NVIDIA DLSS и AMD FSR.

Источник изображений: Intel

Среди наиболее заметных игровых проектов, в которых реализована поддержка XeSS, значатся Cyberpunk 2077, Assassin’s Creed Valhalla и Control. Недавно её поддержка также появилась в Diablo IV. Очевидно, что добавление XeSS в игры AAA-класса показывает доверие со стороны разработчиков к Intel и её технологии для улучшения пользовательского игрового опыта.

Конкуренция со стороны XeSS нарастает. Например, NVIDIA недавно сообщила, что поддержка её технологии масштабирования DLSS 1 и DLSS 2 имеется в более чем 300 играх. А вот новейшую версию технологии, DLSS 3, пока можно встретить лишь в чуть больше чем 30 играх. Что касается AMD, то её технологию масштабирования FSR 1.0 поддерживают более 200 игр, а поддержка FSR 2.0 реализована в более чем 100 играх.

По данным Intel, 64 игры и приложения уже имеют или в ближайшее время получат поддержку XeSS. С их списком можно ознакомиться выше.

Бесплатный и открытый медиаплеер VLC получил поддержку технологии масштабирования изображения NVIDIA RTX Video Super Resolution (VSR), работающей на видеокартах семейства NVIDIA GeForce RTX. Правда, потребуется скачать специальную версию проигрывателя.

Источник изображения: videolan.org

Ранее поддержка VSR появилась в браузерах на базе Chromium — Chrome и Edge, которые улучшают качество картинки на платформах вроде YouTube и Twitch, а также на потоковых службах вроде Netflix, разумеется, при просмотре видео в браузере. Теперь же этой функцией обзавёлся VLC — он справляется как с локальными записями, так и с сетевыми трансляциями.

Журналисты ресурса VideoCardz.com провели быстрое тестирование VSR и подтвердили, что технология действительно работает, потребляя около 7 % мощности видеокарты NVIDIA GeForce RTX 4090 при масштабировании RTSP-потока в 1080p. Качество изображения получилось достойным, хотя и не идеальным — видимо, оно зависит от битрейта и разрешения источника.

Поддержка VSR реализована в специальной ветке плеера VLC 3.0.19 RTX Vetinari — в нём опция масштабирования включена по умолчанию, хотя её нужно будет дополнительно активировать в панели управления NVIDIA и выбрать настройку качества. На баннере с сайта VLC изображена карта серии GTX, которая не поддерживает VSR.

Так как технологии масштабирования изображения AMD FSR 2 и NVIDIA DLSS 2 одновременно используются множеством современных игр, у обозревателей появилась возможность напрямую сравнить их качество и быстродействие. Один из таких тестов опубликовал YouTube-канал HardwareUnboxed, сравнивший обе технологии в 26 играх.

Источник изображения: HardwareUnboxed

Для тестирования использовались два режима AMD FSR 2 и NVIDIA DLSS 2 — «Производительность» и «Качество». Игры запускались в разрешении 4K и 1440p. Поскольку обе технологии масштабирования обеспечили практически одинаковый уровень производительности, основное внимание в исследовании уделялось именно качеству конечного результата работы апскейлера.

Tie — одинаковый результат, DLSS+ — небольшое преимущество, DLSS++ — заметное преимущество, DLSS+++ — значительное преимущество

В общей сложности было проведено 108 игровых тестов. Лишь в восьми случаях FSR 2 продемонстрировала идентичный результат по сравнению с DLSS 2. Во всех других — технология NVIDIA превзошла решение AMD в графическом плане.

В рамках тестов было отмечено, что DLSS лучше справилась с реконструкцией кадра в большинстве случаев. В результате работы технологии NVIDIA также возникало меньше артефактов вроде мерцаний по сравнению с FSR. Наибольшая разница между DLSS и FSR возникла в режиме производительности.

В предварительной версии браузера Microsoft Edge появилась поддержка технологии масштабирования Video Super Resolution, предназначенной для улучшения качества воспроизводимого видео. Воспользоваться её преимуществами смогут владельцы видеокарт NVIDIA GeForce линейки RTX (серии 20, 30 и 40), а также AMD Radeon RX 5700–7800.

Источник изображения: microsoftedgeinsider.com

Масштабирование с использованием алгоритмов искусственного интеллекта работает с видео, имеющими разрешение ниже 720p, но не менее 192 пикселей в ширину или высоту. Оно также не работает при наличии DRM-защиты, поэтому для Netflix и других служб потокового видео предложение недействительно.

Технология ликвидирует артефакты сжатия и повышает чёткость текста. Её поддержка появилась в последней предварительной версии браузера на тестовом канале Canary, но воспользоваться ей смогут только 50 % пользователей программы. Активировать функцию придётся вручную, установив соответствующую настройку по адресу «edge://flags/#edge-video-super-resolution».

Наконец, для работы функции компьютер должен питаться от сети — при питании от аккумулятора она отключается. В перспективе Microsoft пообещала добавить поддержку Video Super Resolution для систем с несколькими видеокартами и гибридными чипами. Когда алгоритм работает, в адресной строке появляется значок «HD», щёлкнув мышкой по которому можно включать и отключать масштабирование.

Компания Intel работает над собственной технологией масштабирования изображения для браузеров на базе Chromium. Речь идёт об аналоге RTX Super Resolution, которую недавно выпустила NVIDIA. Как пишет портал VideoCardz, намёки на существование такой технологии ранее давали инженеры Intel. Однако до настоящего момента не было известно, как будет реализована данная функция.

Источник изображения: VideoCardz

Как выяснили энтузиасты, технология масштабирования Intel в браузере Chrome в той или иной степени уже поддерживается на определённых видеокартах Intel. Однако об официальной поддержке пока речи не идёт. Активировать поддержку необходимо вручную: соответствующую команду нужно ввести в параметры запуска браузера Chrome.

Сообщается, что технология масштабирования Intel поддерживается встроенной графикой процессоров Intel Core 10-го поколения и новее. Кроме того, она работает с дискретными видеокартами серии Arc. Результат работы технологии будет зависеть от аппаратных возможностей графической подсистемы. Также для работы требуется браузер Chrome не старше версии 109. В браузере должна быть включена функция аппаратного ускорения графики. Для активации функции масштабирования изображения в Chrome необходимо прописать следующую команду запуска в его ярлыке:

--enable-features=IntelVpSuperResolution

Как включить Intel VSR в браузере Chrome. Источник изображения: Twitter / @SquashBionic

Портал VideoCardz сообщает, что функция не заработала на встроенной графике их процессора Intel из серии Tiger Lake. Однако ряд пользователей платформы Twitch и социальной сети Bilibili отмечают, что смогли её активировать на данных чипах. Ниже представлены примеры:

Intel VSR. Источник изображения: Dcinside / Quasar Zone

Intel VSR. Источник изображения: hddvddegogo

Intel VSR. Источник изображения: Quasar Zone

Как можно заметить, результат масштабирования зависит от мощности GPU. При этом использование VSR приводит к некоторому повышению энергопотребления графической подсистемой. Важно ещё раз указать, что компания Intel не предоставляет официальную поддержку технологии VSR. Более того, компания официально пока даже не подтверждала намерений выпустить подобную технологию.

В ходе CES 2023 в начале года компания AMD объявила о выпуске новой версии технологии масштабирования FidelityFX Super Resolution 2.2, в которой была улучшена обработка ореолов вокруг движущихся объектов. Это оказалось особенно актуально для динамичных гоночных игр, поэтому первыми поддержку FSR 2.2 получили игры Need for Speed Unbound и F1 22. Теперь AMD сообщила, что опубликовала исходный код FSR 2.2, чтобы сделать технологию доступной для всех разработчиков.

Источник изображений: AMD

За счёт изменений в алгоритмах новая версия FSR 2.2 обеспечивает меньшее количество шумов, артефактов, мерцаний и улучшает работу расширенного динамического диапазона (HDR). Благодаря FSR 2.2 изображение станет лучше, более чётким, а шлейфов от динамичных объектов будет меньше. Также указывается, что в пакет FSR 2.2 добавлен новый API debugger для простого перехода с FSR 2.0 и FSR 2.1 на FSR 2.2.

В AMD отметили, что в скором времени FSR 2.2 должна появиться в качестве плагина для Unreal Engine. Согласно статистике компании, технология масштабирования FSR 2 уже доступна для 110 игр, а FSR 1 поддерживается в 250 играх.

Оценить качество картинки и повышение производительности при использовании FSR 2.2 можно по демонстрации технологии в Forza Horizon 5.

Исходный код технологии масштабирования FidelityFX Super Resolution 2.2 опубликован в репозитории GPUOpen на сайте GitHub.

Компания NVIDIA представила новую технологию RTX Video Super Resolution. Она представляет собой аналог ИИ-масштабирования DLSS, но предназначена не для игр, а улучшения качества изображения потокового видео в браузерах. Технология способна масштабировать потоковое видео с разрешением Full HD до разрешения 4K и при этом улучшает его качество.

Источник изображений: NVIDIA

Новый инструмент использует алгоритмы ИИ для улучшения качества потокового видео. Он сглаживает квадратные артефакты на гранях объектов в кадре, а затем масштабирует разрешение видео до более высокого таким образом, чтобы оно лучше и чётче смотрелось на мониторах с высоким разрешением. Исходя из опубликованного NVIDIA видео, функция масштабирует изображение из 1080p в 4K. Доступна ли поддержка других разрешений — пока не уточняется.

Эффективность RTX Video Super Resolution компания продемонстрировала на примере видео с потоковой трансляцией игры Apex Legends. Технология сгладила края объектов на дальнем плане и сделала картинку менее «мыльной».

Релиз RTX Video Super Resolution состоится в феврале. Инструмент поддерживает работу с браузерами Chrome и Edge и требует для использования видеокарты GeForce RTX 3000 или GeForce RTX 4000. Чем объясняются такие технические требования, компания не уточнила, но вероятно, технология задействует аппаратные блоки, которые есть только у данных GPU.