На платформе «Яндекса Карты» добавились более 4 млн трёхмерных моделей деревьев — они составили реалистичные зелёные зоны в Москве внутри линии МКАД и Санкт-Петербурге, в том числе в Петергофе. Пользователям сервиса будет удобнее подбирать места для прогулок или оценивать район при выборе недвижимости.

Источник изображений: yandex.ru/company

3D-модели на карту добавляются при помощи нейросети — она анализирует спутниковые снимки, оценивая местоположение, внешний вид и размеры деревьев. После этого в соответствующей точке «Яндекс Карт» появляется модель лиственного или хвойного дерева со схожими с оригиналом высотой и размером кроны. В местах, где плотность деревьев слишком высокая, система прореживает модели — это облегчает приложение и не мешает при навигации.

К настоящему моменту искусственный интеллект добавил 21 тыс. моделей хвойных и примерно 4 млн лиственных деревьев, «озеленив» в виртуальном пространстве 2000 парков, скверов, дворов и улиц обеих столиц. Этот проект поможет в выпуске обновлённого варианта «Яндекс Карт», объекты на котором отличаются реалистичным внешним видом и легко узнаются.

Исследователи из Adobe и Австралийского национального университета разработали алгоритм, преобразующий двухмерные изображения в трёхмерные модели всего за 5 секунд. Этот прорыв обещает революционизировать создание контента в дизайне и развлечениях, хотя стоит остерегаться возможных проблем с размытыми текстурами и нарушениями авторских прав.

Источник изображения: Placidplace / Pixabay

Новый алгоритм, названный Большой моделью реконструкции (Large Reconstruction Model или LRM), стал значительным прогрессом в быстром создании трёхмерных моделей на основе одного изображения. Алгоритм, обученный на большом наборе данных из около миллиона трёхмерных объектов, доступных в базах Objaverse и MVImgNet, продемонстрировал исключительную способность к обобщению при работе с разнообразными изображениями при создании 3D-контента.

В отличие от предыдущих моделей, обученных на ограниченных наборах данных с фокусом на одну категорию изображений, LRM использует трансформерную архитектуру, ставшую основой для множества разработок в области глубокого обучения, с 500 млн параметров. Это позволяет ИИ-модели эффективно работать с разнообразными типами изображений, включая фотографии из реального мира и визуальные коллажи, созданные другими ИИ-сервисами, такими как DALL-E и Stable Diffusion.

Источник изображения: yiconghong.me

Ицонг Хонг (Yicong Hong), ведущий автор исследования, подчеркнул, что LRM является значительным прорывом в области трёхмерной реконструкции. Алгоритм способен воспроизводить детальную геометрию и сложные текстуры, например, текстуру дерева, сохраняя при этом качество и точность.

Применение LRM может стать поистине масштабным, от дизайна и развлечений до игровой индустрии. Для дизайнеров и 3D-художников это означает ускорение процесса создания моделей, что особенно важно при разработке видеоигр и анимации. Кроме того, возможность использования LRM обычными пользователями обещает сделать 3D-моделирование прерогативой не только профессионалов. Теперь создавать детализированные модели можно будет даже из фотографий, сделанных на смартфоне.

Тем не менее, у LRM есть свои ограничения, такие как размытость текстур в скрытых участках изображения. Также стоит учитывать вопросы авторских прав, особенно в контексте использования изображений, созданных другими ИИ-сервисами. Для демонстрации возможностей LRM исследователи создали страницу с видеодемонстрациями и интерактивными 3D-моделями. Это подчёркивает растущую роль ИИ в современном мире и его потенциальное влияние на будущее креативных отраслей.

Unity представила два новых продукта на основе искусственного интеллекта — платформы Sentis и Muse, разработанные для улучшения процесса создания 3D-контента в реальном времени (RT3D). В настоящее время оба продукта доступны в закрытой бета-версии, а их глобальный запуск произойдёт в течение года. Кроме того, Unity объявила о запуске специализированного ИИ-маркетплейса в Asset Store, предлагающего дополнительные инструменты.

Unity — это платформа для создания и запуска игр, интерактивных 3D- и 2D-приложений. Она предоставляет разработчикам комплекс интегрированных инструментов для создания интерактивного контента, включая игры и виртуальную реальность. Новые продукты, Sentis и Muse, представляют собой передовые инструменты на основе ИИ, которые помогают улучшить процесс создания 3D-контента в реальном времени.

Sentis — это кросс-платформенное решение для выполнения вывода ИИ-моделей в проектах Unity. Оно позволяет встраивать модели искусственного интеллекта без высокой задержки, обеспечивая плавное выполнение алгоритмов. Это значительно упрощает процесс интеграции ИИ в игровые проекты и улучшает пользовательский опыт. Muse — это набор инструментов для создания захватывающих виртуальных и дополненных реальностей. Они обеспечивают простоту использования и гибкость, позволяя разработчикам и художникам создавать уникальные визуальные и звуковые эффекты, интерактивные сценарии и взаимодействия. Muse поддерживает широкий спектр устройств виртуальной и дополненной реальности, открывая возможности для создания потрясающих VR и AR приложений, применяемых в различных областях, включая развлечение, обучение и маркетинг.

В настоящее время одним из таких инструментов является Unity Muse Chat, который позволяет пользователям находить информацию и ответы на вопросы технической поддержки в документации, вводя запрос в чат-бокс.

Марк Уиттен (Marc Whitten), старший вице-президент Unity Create Solutions, рассказал GamesBeat о новых продуктах: «Наше видение ИИ связано с двумя основными преимуществами. Первое — это доступность. Можно ли облегчить людям доступ к инструментам и технологиям, чтобы они могли создавать игры? Второе связано с производительностью. Могут ли профессионалы быстрее и лучше создавать отличные игры и делать всё то, что они пытаются сделать для наполнения невероятных объёмов контента, который требуют геймеры?»

Новый ИИ-маркетплейс также предлагает другие инструменты, помогающие в создании игр и ресурсов. Среди них Leonardo AI для быстрого создания игровых ресурсов, Convai для создания персонажей на основе ИИ и Zibra AI для создания визуальных эффектов и физики.

Уиттен добавил: «Для нас важно предоставить разработчикам доступ к разнообразным инструментам, чтобы они могли протестировать и решить, что им подходит. От инструментов генеративного ИИ, ускоряющих разработку ресурсов, до решений машинного обучения и ИИ, улучшающих рабочие процессы, и инструментов поведенческого ИИ для улучшения поведения в игровых мирах, от поиска пути и логики врагов до отзывчивости NPC».

Эти нововведения подчёркивают стремление Unity к доступности и продуктивности в области разработки игр и 3D-контента. Они предлагают новые возможности для разработчиков с разным опытом, позволяя им создавать более качественные игры быстрее и эффективнее. В целом, эти новые продукты и инициативы Unity подчёркивают важность ИИ в современной разработке игр и 3D-контента, открывая новые горизонты для создателей игр по всему миру.

Технология Neural Radiance Field (NeRF), предназначенная для преобразования двухмерных изображений в трёхмерные модели, порой демонстрирует невероятные возможности, но учёные из Мэрилендского университета (США) решили существенно повысить ставки, ограничившись отражением объектов в глазах человека в качестве исходных данных.

Кадр из клипа Майли Сайрус. Источник изображений: world-from-eyes.github.io

Для воссоздания трёхмерной модели учёным необходим снимок человека в высоком разрешении. Изображение масштабируется, выделяется отражение в роговицах — оно переворачивается, производится обработка цвета и удаление артефактов, вносимых роговицами, и искажений, обусловливаемых формой глаза. В результате строится 3D-модель.

Конечно, качество этой модели далеко от совершенства — в отдельных случаях можно идентифицировать предметы без мелких деталей, и для эффективной работы алгоритма требуется особое освещение. И самые лучшие результаты, конечно, были получены при помощи компьютерного моделирования — с симуляцией человеческого глаза и интерьера. Задача несколько упрощается из-за того, что геометрия роговицы у большинства взрослых людей примерно одна.

Трёхмерная модель объекта, восстановленная по отражению в глазу Майли Сайрус

О предназначении технологии судить преждевременно, если исключить сценарии из шпионских фильмов. На практике методику попытались применить к клипам Майли Сайрус (Miley Cyrus) и Леди Гаги (Lady Gaga), и результат получился скромным: в глазах первой предположительно отразился осветительный прибор, а у второй — нечто вроде человеческого туловища.