Nvidia представила на выставке CES 2025 прототип помощника с искусственным интеллектом R2X, который запускается на ПК и работает прямо на рабочем столе машины. Ассистент выглядит как персонаж компьютерной игры и помогает в навигации по приложениям. К помощнику можно подключить любую из популярных больших языковых моделей, в том числе OpenAI GPT-4o или xAI Grok.
Источник изображения: nvidia.com
За визуализацию и анимацию R2X отвечают ИИ-модели Nvidia. Пользователю доступно общение с R2X в текстовом чате или в голосовом формате, предусмотрена загрузка файлов в приложение, есть возможность транслировать ИИ изображение с экрана компьютера или с камеры. Этим проектом Nvidia стремится объединить технологии генеративного ИИ в играх с передовыми большими языковыми моделями — в идеале должен получиться ИИ-помощник, который выглядит как человек.
Here’s Nvidia’s R2X, but powered by Grok pic.twitter.com/kyOOORQ1kR
— Max Zeff (@ZeffMax) January 9, 2025
В первой половине 2025 года компания намеревается открыть исходный код проекта. Nvidia позиционирует его как новый пользовательский интерфейс для разработчиков, позволяющий конечным пользователям подключать свои любимые продукты с ИИ из облака или локально. По образцу функции Microsoft Recall приложение R2X также может постоянно делать снимки экрана и анализировать их с помощью ИИ, но по умолчанию эта функция отключена. Если её активировать, система поможет разобраться с ПО на компьютере или, например, даст совет при разработке сложного программного кода.
Here's my demo with Nvidia's R2X avatar prototype, an AI assistant that lives on your desktop pic.twitter.com/8oT941dHGq
— Max Zeff (@ZeffMax) January 9, 2025
На практике Nvidia R2X пока работает отнюдь не идеально. В ходе демонстрации на CES 2025 аватар иногда демонстрировал эффект «зловещей долины», когда лицо персонажа замирало со странным выражением; а его тон порой производил впечатление агрессивного. Советы ИИ-помощника были преимущественно полезными, но не обошлось и без «галлюцинаций» — он запутался в функциях Adobe Photoshop, а потом внезапно перестал «видеть» изображение экрана. В рамках другой демонстрации он составил сводку по содержимому загруженного файла PDF.
Here’s R2X helping us use generative fill in Adobe Photoshop (it gave us incorrect instructions though) pic.twitter.com/CDLjbduBEw
— Max Zeff (@ZeffMax) January 9, 2025
Для анимации выражения лица в разговоре использовалась ИИ-модель Nvidia Audio2Face-3D, которая не всегда срабатывала идеально. В перспективе R2X сможет участвовать в сеансах групповой видеосвязи Microsoft Teams и даже выступать в качестве ИИ-агента, выполняя некоторые действия на рабочем столе компьютера.