Компания Luma Labs представила модель искусственного интеллекта Dream Machine, предназначенную для создания видео и доступную массовому пользователю. Систему отличает высокий реализм — создаваемые ей видео совсем не похожи на творчество ИИ.

Источник изображений: x.com/LumaLabsAI

Разработчик анонсировал свой проект в соцсети X, опубликовав несколько примеров созданных ИИ видео. «Представляем Dream Machine — видеомодель нового поколения для создания высококачественных реалистичных роликов по текстовым запросам и изображениям с помощью ИИ», — говорится в описании. Проект стал пользоваться высоким спросом, поэтому в ближайшее время опробовать систему в деле будет непросто — запросы большинства пользователей ставятся в очередь, и некоторые бросают забаву, так и не дождавшись результатов. Возможно, когда шумиха вокруг нового проекта поутихнет, работать с системой будет проще.

Попробовать создать видео по текстовому описанию или по статическому изображению может любой желающий, достаточно лишь зарегистрировать учётную запись. После этого в Dream Machine можно создать 30 видео в месяц — есть и платные варианты до 2000 видео в месяц за $499, но большинству, вероятно, хватит бесплатной версии сервиса. ИИ-модель действительно отличают реалистичные видео, причём реалистично смотрятся не только объекты на роликах, но и движения камеры — как будто съёмку ведёт профессиональный оператор.

На этой неделе состоялась ежегодная выставка Computex 2024, в рамках которой было представлено немало аппаратных и программных новинок. Одной из них стал генератор изображений AI Playground от Intel. Его основной является генеративная нейросеть, а главная особенность заключается в способности работать локально на пользовательском компьютере без подключения к облачным вычислительным мощностям.

Источник изображения: Intel

Приложение AI Playground для устройств с Windows требует наличия производительного процессора Intel Core Ultra, в составе которого есть встроенный ИИ-сопроцессор (NPU) для ускорения выполнения задач искусственного интеллекта. Также требуется наличие встроенной графики Intel Arc или дискретной видеокарты Intel с не менее чем 8 Гбайт видеопамяти.

Ещё одна особенность приложения, которое станет доступно для скачивания позднее этим летом, в том, что использовать её можно бесплатно. «Мы не рассматриваем AI Playground как замену многим замечательным проектам и приложениям на основе ИИ, но мы рассматриваем AI Playground как лёгкий способ начать работу с ИИ», — говорится в сообщении Intel.

AI Playground устанавливается на компьютер как стандартное приложение Windows. Пользовательский интерфейс выглядит достаточно простым. Для взаимодействия с разными функциями, такими как генерация или редактирование изображения, предлагается переключаться между вкладками в верхней части рабочего пространства. Для создания картинки достаточно ввести текстовое описание и запустить процесс генерации. Поддерживается возможность изменения качества и разрешения изображения, есть дополнительные опции, которые могут оказаться полезными при редактировании.

Основой приложения стала большая языковая модель Answer. Хотя возможности AI Playground на данном этапе не слишком впечатляют, недостатки может компенсировать способность приложения работать локально. Это означает, что у разработчиков продукта не будет доступа к созданному пользователями контенту и текстовым подсказкам, которые они задействовали в процессе генерации. Кроме того, приложение можно использовать бесплатно, что также будет привлекательно для пользователей, которые только начинают знакомство с ИИ-генераторами изображений.

Китайская платформа коротких видео Kuaishou, главный конкурент Douyin — китайского раздела TikTok, — представила основанный на искусственном интеллекте сервис создания видео по текстовому описанию Kling. Этот сервис во многом напоминает OpenAI Sora, свидетельствуя, что крупные китайские технологические компании стремятся догнать американских коллег в области ИИ.

Источник изображений: kling.kuaishou.com

Модель ИИ Kling, которая пока находится на стадии тестирования, способна создавать по текстовому описанию видеоролики продолжительностью до 2 минут с разрешением 1080p и поддержкой различных соотношений сторон. В серии демонстрационных видеороликов присутствуют разные сюжеты: китайский мальчик в очках ест чизбургер в заведении быстрого питания; белый кот едет за рулём машины на фоне небоскрёбов и пешеходов; ребёнок едет на велосипеде по саду, наблюдая за сменой времён года.

Kuaishou — не единственная китайская компания, отметившаяся разработкой конкурента Sora. В апреле стартап Shengshu Technology совместно с Университетом Цинхуа представила аналогичный ИИ-генератор Vidu. Собственный проект в этом году обещала представить и компания Zhipu AI — один из ведущих китайских стартапов в области генеративного ИИ.

Ранее Kuaishou представила большую языковую модель KwaiYii и генератор изображений Kolors. Функция AI Dancer позволяет анимировать фотографии — люди на них танцуют под различные ритмы. В ближайшее время компания также пообещала представить службу преобразования статических изображений в видео — она основана на модели Kling. Посещаемость платформы коротких видео Kuaishou, по её собственным подсчётам, составляет 400 млн человек в день — для сравнения, у Douyin от ByteDance 600 млн пользователей ежедневно.

В феврале Google приостановила работу основанного на искусственном интеллекте генератора изображений Gemini, который допускал оскорбляющие общественность исторические неточности. К примеру, расовое разнообразие солдат по запросу «римский легион» — явный анахронизм — и стереотипно чёрные мужчины по запросу «зулусские воины». Кажется, ничего не изменилось до сих пор.

Источник изображения: blog.google

Гендиректору Google Сундару Пичаи (Sundar Pichai) пришлось принести извинения за сбой в работе генератора изображений Gemini, а глава ответственного за проект профильного подразделения Google DeepMind Демис Хассабис (Demis Hassabis) пообещал, что ошибка будет исправлена в «кратчайшие сроки» — за несколько недель. Сейчас уже середина мая, а ошибка до сих пор не исправлена.

На этой неделе Google провела ежегодную конференцию I/O, на которой рассказала о множестве новых функций Gemini: модель ИИ сможет использоваться для создания собственных чат-ботов, планировки маршрутов, она будет интегрирована в Google Calendar, Keep и YouTube Music. Но генерация изображений до сих пор отключена в приложении Gemini и веб-интерфейсе, подтвердил ресурсу TechCrunch представитель Google.

Причин задержки он не пояснил. По одной из версий, при обучении ИИ используются наборы данных, в которых превалируют изображения белых людей, тогда как представители других рас и этнических групп составляют исключения, что формирует стереотипы. В попытке исправить этот перекос Google могла прибегнуть к кардинальной мере — жёсткому кодированию, при котором данные встраиваются непосредственно в исходный код. Исправить созданный таким образом алгоритм очень непросто.

На этой неделе OpenAI представила модель искусственного интеллекта нового поколения GPT-4o. Буква «o» в её названии означает Omni, подразумевая, что она изначально поддерживает несколько форматов ввода — ранее мультимодальность предполагала преобразование всех нетекстовых форматов в текст. Президент и соучредитель OpenAI Грег Брокман (Greg Brockman) впервые опубликовал созданное GPT-4o изображение.

То самое сгенерированное GPT-4o изображение. Источник изображения: twitter.com/gdb

Поддержка текста, изображений и звука в качестве входных данных означает, что модель также способна их генерировать. Приведённая выше картинка — не фотография, а творение GPT-4o. На ней изображён мужчина в футболке с логотипом OpenAI, который пишет на доске. Сверху находится частично стёртая надпись «Перенос между модальностями». Далее следует текст: «Положим, мы напрямую моделируем P (текст, пиксели, звук) посредством одного авторегрессионного трансформера. Каковы за и против?».

Если присмотреться, можно разглядеть некоторые признаки того, что изображение было создано ИИ. Доска висит под неестественным углом, под ней непонятным образом находится ещё одна, рука мужчины имеет странную форму, а освещение неоднородно. Невероятной, вместе с тем, кажется способность ИИ генерировать длинные фрагменты связного текста — с этим с трудом справляется даже DALL-E 3. Генератор изображений GPT-4o широкой публике пока недоступен: пользователи ChatGPT с подключённой моделью нового поколения пока могут генерировать изображения лишь с DALL-E 3. Но президент OpenAI Грег Брокман уверяет, что компания прилагает значительные усилия, чтобы открыть к модели нового поколения полный доступ.

В рамках проходящей в эти дни в Маунтин-Вью конференции Google I/O состоялся анонс новой версии генеративной нейросети семейства Imagen. Речь идёт об алгоритме Imagen 3 — самом продвинутом генераторе изображений от Google на данный момент.

Источник изображения: Google

Глава исследовательского ИИ-подразделения Google Deep Mind Демис Хассабис (Demis Hassabis) во время презентации заявил, что Imagen 3 более точно понимает тестовые запросы, на основе которых он создаёт изображения, чем модель Imagen 2. Он отметил, что алгоритм работает более «креативно и детализировано», а также реже ошибается и создаёт меньше «отвлекающих артефактов».

Вместе с этим Google попыталась развеять опасения по поводу того, что Imagen 3 будет использоваться для создания дипфейков. В процессе генерации изображений будет задействована технология SynthID, посредством которой на медиафайлы наносятся невидимые криптографические водяные знаки. Предполагается, что такой подход сделает бесполезными попытки использовать ИИ-генератор Google для создания фейкового контента.

Частные пользователи могут оформить подписку на Imagen 3 через сервис Google ImageFX. Разработчики и корпоративные клиенты получат доступ к ИИ-генератору через платформу машинного обучения Vertex AI. Как и в прошлом, в этот раз Google не поделилась подробностями касательно того, какие данные использовались для обучения нового алгоритма.

В августе 1982 года вышел компьютер Commodore 64, которому было суждено стать одним из самых продаваемых ПК всех времён. Как оказалось, оборудование той эпохи и может справляться и с современными алгоритмами искусственного интеллекта — конечно, с некоторыми оговорками.

Источник изображения: github.com/nickbild

Энтузиаст Ник Бильд (Nick Bild) разработал для Commodore 64 систему генеративного ИИ, способную создавать изображения размером 8 × 8 пикселей, которые затем преобразуются в картинки 64 × 64 точки. Эти изображения призваны служить источником вдохновения при разработке концепций игрового дизайна. Как оказалось, современную модель генеративного ИИ действительно можно запускать на таком старом оборудовании. На выполнение 94 итерации для построения окончательного изображения у Commodore 64 ушли 20 минут — и это, пожалуй, совсем неплохо, учитывая возраст компьютера.

О проектах уровня OpenAI речи, конечно, не идёт, но и «вероятностный алгоритм PCA», запущенный на 40-летней машине, в реальности был обучен на современном компьютере. Таким образом, хотя модель и по-честному работала на Commodore 64, для её запуска всё равно оказался необходим современный ПК.

«Сбер» объявил о доступности для всех пользователей без ограничений улучшенной модели генеративной нейросети Kandinsky 3.1, представленной ранее в этом месяце. ИИ-сервис позволяет создавать изображения по текстовому описанию на русском и английском языках. Сообщается, что обновлённая версия была дообучена на датасете эстетичных изображений, что позволило повысить качество генерации картинок.

Источник изображения: «Сбер»

Кроме того, благодаря новому подходу к обучению и использованию качественного датасета значительно улучшилась функция Inpainting для редактирования отдельных фрагментов изображения.

Как сообщает «Сбер», у пользователей также появилась возможность воспользоваться в Telegram-боте в том числе быстрой моделью Kandinsky 3.1 Flash. Время генерации изображений с её помощью уменьшилось по сравнению с базовой версией более чем в 10 раз.

По словам разработчика, в ближайшее время будут добавлены инструменты создания изображений в формате 4K, функции создания вариаций изображения, смешивания нескольких графических файлов, смешивания картинок и текстов, генерации стикерпаков, а также возможность внесения локальных правок изображения без изменения всей композиции сцены (ControlNet). Кроме того, вскоре все пользователи смогут протестировать обновлённую версию модели генерации видео по тексту Kandinsky Video 1.1.

Компания OpenAI продолжает активно развивать свои генеративные алгоритмы, делая их более совершенными и удобными для пользователей. На этом фоне разработчики объявили о закрытии нейросети DALL-E 2, которая дебютировала в апреле 2022 года и позволяла создавать качественные изображения на основе текстовых описаний. Этого следовало ожидать, поскольку OpenAI уже выпустила более совершенный алгоритм DALL-E 3.

Источник изображения: OpenAI

Алгоритм DALL-E 3 получил полную интеграцию с ИИ-ботом ChatGPT, что способствовало формированию более простого пользовательского интерфейса и созданию более качественных изображений. Начать взаимодействие с ChatGPT в DALL-E 3 можно буквально в пару кликов. Что же касается DALL-E 2, то очевидно, что нейросеть безвозвратно уходит в прошлое.

«Мы больше не допускаем новых пользователей к DALL-E 2. DALL-E 3 позволяет создавать изображения более высокого качества, лучше обрабатывает запросы, и мы начали внедрять в него функцию редактирования изображений. Он доступен пользователям ChatGPT Plus, Teams и Enterprise, а также через API OpenAI», — говорится в сообщении разработчиков на странице DALL-E 2.

Вместе с появлением сообщения от разработчиков со страницы исчезла форма для ввода текстовых описаний. Доступ к сгенерированным ранее изображениям на данный момент есть, но не исключено, что позднее это изменится. OpenAI предупреждала о предстоящем закрытии доступа к алгоритму ещё в начале года, поэтому для пользователей нейросети этот шаг не должен стать чем-то неожиданным.

Компания Meta✴ начала тестировать в мессенджере WhatsApp генератор изображений Meta✴ AI на базе искусственного интеллекта. Пока новая функция доступно только пользователям из США. Она работает в режиме реального времени: как только пользователь начинает добавлять в запрос детали для создания картинки, он сразу же видит, как изображение меняется в соответствии с указанными деталями.

Источник изображения: pexels.com

В примере, предоставленном Meta✴, пользователь составляет запрос: «Представь игру в футбол на Марсе» (Imagine a soccer game on mars). С каждым написанным словом ИИ добавляет новые детали в генерируемое изображения, сначала показывая обычных игроков в футбол на обычном поле, а затем меняет его на пейзаж Марса. Пользователи, получившие доступ к бета-версии ИИ-генератора изображения в WhatsApp, могут попробовать новую функцию сами. Запрос необходимо делать на английском языке, начиная со слова «Imagine».

Компания Meta✴ также сообщила, что её языковая модель Llama 3, на которой построен ИИ-генератор, способна создавать «более чёткие и качественные» изображения и лучше отображать текст. Пользователи также могут делать для Meta✴ AI запрос для анимации любого предоставленного ими изображения. ИИ сгенерирует из статичной картинки GIF-изображение, которым можно будет поделиться с друзьями.

Помимо мобильного приложения WhatsApp, функция ИИ-генерации изображений в реальном времени также стала доступна для пользователей веб-версии платформы Meta✴ AI, но пока тоже только из США.

Разработанный Meta✴ генератор изображений на основе искусственного интеллекта вслед за Google Gemini продемонстрировал неожиданное отношение к расовому вопросу. Созданная гигантом соцсетей система оказалась почти неспособной изображать азиатов совместно с представителями других рас, обратила внимание журналистка The Verge Миа Сато (Mia Sato), которая сама является азиаткой.

Источник изображений: Meta✴

Она несколько десятков раз обращалась к созданному Meta✴ ИИ-генератору изображений, используя такие запросы как «мужчина-азиат и друг-европеец», «муж-азиат и жена с европейскими чертами лица», «азиатская женщина и муж-европеец». И лишь однажды система смогла точно изобразить предложенных ей представителей рас. Вариации запросов ситуацию не спасли. Команда «азиатский мужчина и белая женщина, улыбающиеся с собакой» привела к появлению трёх подряд изображений двух людей азиатской расы. Замена слова «белая» на «европейка» дала тот же результат. По запросу «мужчина-азиат и женщина-европейка в день свадьбы» ИИ предложил изображение мужчины-азиата в костюме и женщины-азиатки в традиционной одежде — причём это было нечто среднее между китайским платьем ципао и японским кимоно.

Перемены не наступили и с переходом в плоскость платонических отношений. По запросам «азиатский мужчина с европейским другом» и «азиатская женщина и белая подруга» генератор изображений Meta✴ снова предложил одних азиатов. Двух азиатских женщин система предложила и по запросу «азиатская женщина с темнокожей подругой». Адекватный ответ появился лишь по запросу «женщина-азиатка с подругой-афроамериканкой». Не очень помогла и смена региона. По запросу «мужчина из Южной Азии с женой-европейкой» ИИ сначала представил корректное изображение, но за ним по тому же запросу последовала картинка с двумя представителями Южной Азии. Причём система обращался к стереотипам, украшая южноазиатских женщин бинди (красными точками на лбу) и сари (традиционной в Индии женской одеждой).

Только одна попытка изобразить азиатку с подругой-афроамериканкой увенчалась успехом

Стоит отметить, что под «азиатскими женщинами» ИИ Meta✴ понимает образы светлокожих женщин из Восточной Азии, хотя самой густонаселённой страной в Азии является Индия. Причём азиатские мужчины, принадлежащие, по мнению генератора изображений, к той же этнической группе, иногда оказываются пожилыми, зато женщины всегда изображаются молодыми.

Meta✴ комментариев по данному вопросу пока не предоставила. К слову, жена главы компании Марка Цукерберга (Mark Zuckerberg), представителя европейской расы, — Присцила Чан (Priscilla Chan), по происхождению является китаянкой.

«Сбер» официально представил усовершенствованную версию своей генеративной нейросети Kandinsky 3.1, которая позволяет создавать изображения по текстовому описанию на русском и английском языках. Обновлённый алгоритм дообучен на увеличенном наборе изображений, за счёт чего удалось повысить качество генераций.

Источник изображения: sberbank.ru

Одна из главных особенностей новой версии алгоритма заключается в повышении скорости генерации изображений. По данным компании, время создания одной картинки сократилось почти в 10 раз, а разрешение генераций можно повысить до формата 4K. В дополнение к этому пользователи теперь могут задействовать функцию улучшения текстового запроса с помощью языковой модели. Доступны функции создания разных вариантов изображений, смешивание картинок и текста, создание стикерпаков, а также возможность внесения локальных изменений на изображении без смены всей композиции.

Вместе с этим «Сбер» анонсировал скорое появление алгоритма Kandinsky Video 1.1, предназначенного для генерации видео по текстовому описанию. Разработчики сумели существенно повысить качество генераций благодаря увеличению объёма используемого для обучения датасета пар «текст-видео», а также изменениям в архитектуре модели. Внесённые изменения позволили повысить разрешение видео вдвое в сравнении с возможностями алгоритма Kandinsky 1.0. Модель разработана специалистами Sber AI совместно с учёными из Института искусственного интеллекта AIRI на объединённых датасетах Sber AI и компании SberDevices.

Архитектура визуального генеративного искусственного интеллекта Nvidia Edify вышла на новый уровень — она предложила генерацию 3D-объектов по текстовому описанию. Возможности платформы заинтересовали Shutterstock, Getty Images, Adobe, HP, Mattel и других партнёров Nvidia.

Источник изображений: nvidia.com

Фотобанк Shutterstock открыл ранний доступ к API на основе архитектуры Edify — платформа позволяет художникам создавать трёхмерные объекты или целые сцены по текстовому описанию. Разработчики смогут протестировать возможности предварительно обученных моделей ИИ на архитектуре Edify с использованием данных Getty Images и Shutterstock по API через набор микросервисов Nvidia NIM. Обученная на лицензионном контенте Shutterstock модель обладает встроенными средствами фильтрации генерируемого контента; поддерживается экспорт в наиболее популярные 3D-форматы. Доступно также обучение и развёртывание специализированных моделей генеративного ИИ на архитектуре Edify при помощи платформы Nvidia Picasso на ресурсах Nvidia DGX Cloud.

Предложенный Shutterstock 3D-генератор заинтересовал компанию HP: созданные по текстовому описанию объекты можно преобразовывать в модели для 3D-принтеров HP с возможностью их последующего вывода на печать. Проект оказался полезным и компании Mattel: инструменты ИИ помогают дизайнерам визуализировать свои идеи для создания новых игрушек посредством текстовых команд, снижая тем самым технический барьер при разработке дизайна. На архитектуре Nvidia Edify также работает запущенный Adobe генератор 3D-изображений для пользователей сервисов Firefly и Creative Cloud.

Технологическая консалтинговая компания Accenture Song, которая уже развернула в работе платформу Nvidia Omniverse, также внедрила решения Edify для создания при помощи текстовых команд 3D-сцен в реалистичной среде для цифрового двойника автомобиля Land Rover Defender.

Фотобанк Getty Images на январской выставке CES анонсировал API на базе Nvidia Edify — этот инструмент позволяет добавлять, удалять или заменять объекты на изображениях, и теперь эти функции доступны на платформах Gettyimages.com и iStock.com. С мая Getty Images предложит услуги по индивидуальной настройке модели Edify Foundation в соответствии с брендом и визуальным стилем выступающей заказчиком компании. Эти сервисы работают без необходимости использовать программный код: клиент сможет загрузить собственный набор данных, свериться с автоматически генерируемыми тегами, сформировать задачи по тонкой настройке модели и просмотреть результаты перед их окончательным развёртыванием. Наконец, Getty Images предложит средства API для точного контроля над выводом изображений: платформа сможет генерировать изображения по эскизам, контролируя глубину цвета и сегментируя фрагменты изображения для работы с каждым объектом сцены в индивидуальном порядке.

Основанный на искусственном интеллекте генератор изображений Midjourney 6, доступный сейчас только в рамках альфа-тестирования на платформе Discord, предложил новую функцию «образец персонажа» (Character Reference), позволяющую зафиксировать один образ на разных созданных платформой изображениях.

Источник изображения: youtube.com/@curtispyketech

Чтобы задать образец, пользователь Midjourney может указать одну или несколько ссылок на картинку с интересующим его персонажем или загрузить его на платформу, и генератор будет учитывать эти данные при получении команды. Администрация сервиса отметила, что новая функция предназначается в первую очередь для персонажей, созданных ИИ. «Для реальных людей/фотографий она не предназначена», — заявил администратор Midjourney Discord и добавил, что это, «скорее всего, исказит их, как это делают обычные запросы на изображения».

Но пользователи платформы, конечно, не смогли не попробовать. Один из них загрузил в качестве образца фотографию футбольной звезды Криштиану Роналду (Cristiano Ronaldo), и результаты действительно сильно напоминали известного спортсмена. Функция пока тестируется, но уже демонстрирует убедительные результаты: доступен также параметр «силы» (strength), то есть степени соответствия образца и результата генерации.

Новая функция вызывает два противоположных этических вопроса. С одной стороны, возможность задать образец персонажа облегчит недобросовестным пользователям создание убедительных дипфейков. С другой, исключение отсылок на работы художников может вызвать проблемы с авторскими правами, если пользователи захотят коммерциализировать или опубликовать творения Midjourney.

В продажу поступило устройство GameScent, которое при помощи алгоритмов искусственного интеллекта анализирует происходящие в играх события и генерирует соответствующие ароматы.

Источник изображений: gamescent.com

GameScent в реальном времени «слушает» игровые звуки и высвобождает соответствующие ароматы: идентифицировав грозу, он производит запах дождя; а при звуке выстрела издаёт запах пороха. Устройство представляет собой небольшую коробку, совместимую с ПК, консолями и гарнитурами виртуальной реальности — оно через адаптер подключается к порту HDMI или 3,5-мм разъёму.

Ароматы производятся при помощи сменных картриджей. В основной набор входят запахи «Оружейный огонь», «Взрыв», «Гонка», «Шторм», «Лес», а также «Чистый воздух» — нейтрализатор остальных запахов, который высвобождается по завершении игровой сессии. В перспективе производитель обещал расширить набор новыми ароматами: «Спортивная арена», «Кровь», «Океан» и «Свежескошенная трава». На сайте продукта также присутствует намёк на некий MovieScent — возможно, это будет генератор запахов для домашнего просмотра кино и сериалов.

GameScent продаётся на американских торговых площадках по льготной цене $149,99, но скоро она повысится до $179,99.