реклама
Новости Software

GPT-4 освоил Red Dead Redemption 2, но его подводит машинное зрение

Группа исследователей из Китая и Сингапура научила ИИ на базе OpenAI GPT-4V играть в Red Dead Redemption 2 (RDR2). В своей статье они рассказали о концепции общего компьютерного контроля (General Computer Control, GCC) для ИИ, и о мультимодальном агенте CRADLE — интерфейсе между GPT-4V и RDR2. По их мнению, основные проблемы у игрового ИИ-агента возникли при использовании машинного зрения.

 Источник изображения: Rockstar

Источник изображения: Rockstar

Исследователи поставили своей целью заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы, как это делает среднестатистический человек-пользователь ПК. Проект даёт представление о том, насколько далеко продвинулись разработчики ИИ в движении в сторону создания общего (сильного) искусственного интеллекта (AGI).

Исследователи выбрали RDR2, так как она имеет «сложную систему управления черным ящиком, которая воплощает в себе самые требовательные компьютерные задачи и позволяет нам оценить границы производительности нашей платформы в таких виртуальных средах». Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Исследователи утверждают, что управление игрой с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC.

 Как устроен CRADLE / Источник изображения: arxiv.org

Как устроен CRADLE / Источник изображения: arxiv.org

Исследователи стремились продемонстрировать способность ИИ изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), то есть как это делает человек. ИИ-агент «проходил» игру, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2. В целом, CRADLE добился заметного успеха в RDR2. Он смог «последовательно выполнять все задачи основной сюжетной линии», за исключением миссии с ураганной перестрелкой, заданий, которые требуют исследования сложного внутреннего мира, и многоэтапных миссий с открытым финалом.

 Как CRADLE выполняет buhjdst задания / Источник изображения: arxiv.org

Как CRADLE выполняет игровые задания / Источник изображения: arxiv.org

Исследователи считают, что причиной некоторых повторяющихся трудностей, с которыми сталкивался CRADLE, является GPT4-V. По их мнению, «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». GPT4-V не справился с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

 Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Производительность CRADLE в разных типах миссий / Источник изображения: arxiv.org

Хотя опубликованная статья посвящена взаимодействию ИИ с RDR2, авторы утверждают, что предназначение системы CRADLE в рамках GCC гораздо шире: «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Activision оставила Call of Duty: Black Ops 6 без русской озвучки, но это не точно 41 мин.
Авторы No Man’s Sky вернули «неповторимое ощущение одиночества во вселенной» из ранней версии — стартовала экспедиция Adrift 2 ч.
Activision отсудила у создателей читов для Call of Duty ещё 14 миллионов долларов, но не всё так просто 13 ч.
ЕС учредил орган, который будет следить за безопасным развитием ИИ 15 ч.
Кошачий ролевой экшен Kristala с духом Dark Souls ворвётся в ранний доступ Steam на следующей неделе — дата выхода и новый трейлер 15 ч.
Интернет-архив Wayback Machine подвергся мощной и продолжительной кибератаке 16 ч.
Sony всё-таки подтвердила майский выпуск State of Play — где и когда смотреть, что могут показать 16 ч.
PayPal добавила стейблкоин PYUSD в популярный среди мемкоинов блокчейн Solana 16 ч.
В Windows появится магазин Android-приложений от Tencent 18 ч.
В сентябре TikTok оспорит свою блокировку в суде США 18 ч.
Первичные чёрные дыры — плохие кандидаты на роль тёмной материи, объяснили японские учёные 6 мин.
Новинка Exell: мощный лазерный 3LCD-проектор EXL407Z 60 мин.
Samsung отобрала у Apple лидерства на мировом рынке смартфонов в прошлом квартале 2 ч.
Япония ужесточит контроль за экспортом важных для национальной экономики технологий 3 ч.
HP нарастила продажи ПК впервые с мая 2022 года благодаря корпоративному сегменту 4 ч.
Новая статья: Обзор ноутбука AORUS 16X 9KG: перед таким экраном играть — одно удовольствие 10 ч.
Cadillac представила Optiq — роскошный электрический кроссовер по цене от $54 000 11 ч.
TeamGroup представила модули памяти T-Create Expert AI LPDDR5X CAMM2 со скоростью до 7200 МТ/с 12 ч.
Конкурент Neuralink установил рекорд по числу электродов в мозге человека — 4096 штук на площади со спичечный коробок 12 ч.
Apple решит проблему конфиденциальности в облаке с помощью «Черного ящика» 12 ч.