Научное подразделение Apple совместно с исследователями Калифорнийского университета в Санта-Барбаре выпустило мультимодальную модель искусственного интеллекта MGIE, предназначенную для редактирования изображений. Чтобы внести изменения в снимок, пользователю достаточно естественным языком описать, что он хочет получить на выходе.
Источник изображений: Apple
MGIE (Multimodal Large Language Model-Guided Image Editing) может применяться для задач различной сложности, связанных с редактированием изображений: можно добавлять различные объекты, убирать или изменять их. При получении команды модель интерпретирует слова пользователя, а затем «представляет себе», как будет выглядеть изменённая в соответствии с ними картинка.
В описывающей MGIE статье приводятся несколько примеров её работы. Когда модели дали на редактирование фото пиццы и предложили «сделать её более здоровой», та добавила овощную начинку. Далее ей предложили излишне тёмный снимок гепарда в пустыне и предложили «добавить контраста, имитируя больше света» — изображение стало ярче. MGIE доступна для бесплатного скачивания на GitHub, а опробовать её в работе можно на платформе Hugging Face Spaces. В Apple не уточнили, каковы планы компании в отношении модели вне исследовательского проекта.
Редактирование изображений поддерживается некоторыми ИИ-генераторами, включая OpenAI DALL-E 3; функции генеративного ИИ присутствуют и в Photoshop благодаря модели Adobe Firefly. Apple не позиционирует себя как крупного игрока в области ИИ в отличие от Microsoft, Meta✴ или Google, но недавно гендиректор компании Тим Кук заявил, что в этом году производитель добавит на свои устройства новые функции ИИ. В минувшем декабре компания выпустила открытую платформу MLX для обучения ИИ-моделей на чипах Apple Silicon.