Проект Google с кодовым именем Ellmann позволит пользователям получить «ретроспективный взгляд» на историю их жизни. Идея заключается в том, чтобы использовать большие языковые модели, такие как Gemini, для обработки пользовательских поисковых запросов, выявления закономерностей в его фотографиях, создания индивидуального чат-бота и «ответов на ранее невозможные вопросы» о жизни человека. Команда также продемонстрировала «Чат Ellmann» с многообещающим и пугающим описанием: «Представьте, что вы открываете ChatGPT, а он уже знает всё о вашей жизни».
Источник изображения: Google
Команда Google предложила использовать технологию искусственного интеллекта для создания картины жизни пользователей «в ретроспективе», используя данные мобильного телефона, такие как фотографии и поисковые запросы. Пока неясно, планирует ли компания внедрить эти возможности в «Google Фото» или в какой-либо другой свой продукт.
Проект Ellmann, названный в честь биографа и литературного критика Ричарда Дэвида Эллманна (Richard David Ellmann), предполагает использование LLM, таких как Gemini, для обработки результатов поиска, выявления закономерностей в фотографиях пользователя, создания чат-бота и «ответов на ранее невозможные вопросы», говорится в копии презентации Google. Цель проекта, как поясняется в презентации, — создать «Рассказчика истории вашей жизни».
Менеджер по продуктам «Google Фото» представил проект Ellmann вместе с командами Gemini на недавнем внутреннем саммите. Команды потратили несколько месяцев на то, чтобы определить, что большие языковые модели являются идеальной технологией для того, чтобы сделать этот подход к истории ретроспективного описания жизни реальностью.
Ellmann может использовать контекст биографии, предыдущих и последующих фотографий, чтобы описать конкретные фотографии пользователя более глубоко, чем «просто пиксели с ярлыками и метаданными», говорится в презентации. Он предлагает определять ряд моментов, таких как университетские годы, годы жизни в каком-то определённом месте и годы жизни в качестве родителя.
«Мы не сможем ответить на сложные вопросы или рассказать хорошую историю, не имея представления о вашей жизни в вашем же прошлом», — говорится в одном из описаний к фотографии маленького мальчика, играющего с собакой в грязи.
«Мы просматриваем ваши фотографии, изучаем их метки и местоположение, чтобы определить значимый момент, — говорится на слайде презентации. — Когда мы оглядываемся назад и понимаем вашу жизнь во всей её полноте, становится понятна ваша история жизни». В презентации отмечается, что большие языковые модели могут определять такие моменты, как рождение ребенка пользователя. «Эта LLM может использовать знания из более высоких частей дерева, чтобы сделать вывод о том, что это рождение Джека и что он первый и единственный ребенок Джеймса и Джеммы».
«Одна из причин, по которой LLM настолько эффективен для такого подхода ретроспективного анализа, заключается в том, что он может брать неструктурированный контекст с разных ветвей дерева модели и использовать его для улучшения понимания других областей дерева», — поясняется на слайде, сопровождающемся иллюстрацией различных жизненных «моментов» и «глав» из жизни пользователя.
Кроме того, команда проекта описала суть Ellmann следующей фразой: «Представьте, что вы открываете ChatGPT, а он уже знает всё о вашей жизни. О чём бы вы его спросили?». Далее команда показала пример чата, в котором пользователь спрашивает: «Есть ли у меня домашнее животное?». На что чат отвечает, что да, у пользователя есть собака, которая носит красный дождевик, затем предлагает имя собаки и имена двух членов семьи, с которыми питомец чаще всего проводит время.
Ellmann также представил краткую информацию о привычках пользователя в еде. «Похоже, вам нравится итальянская кухня. Здесь есть несколько фотографий блюд из пасты, а также фотография пиццы». В сообщении также говорилось, что пользователю, похоже, нравится новая еда, потому что на одной из его фотографий было меню с нераспознанным блюдом. Технология также определила, какие товары пользователь собирался приобрести, его интересы, работу и планы на путешествия, основываясь на скриншотах пользователя, говорится в презентации. Технология сможет узнать любимые сайты и приложения пользователей, приводя в пример Google Docs, Reddit и Instagram✴.
Представитель Google предоставил следующий комментарий: «В "Google Фото" всегда использовался искусственный интеллект для поиска фотографий и видео, и мы рады тому, что LLM могут открыть ещё более полезные возможности. Это было раннее внутреннее исследование, и, как всегда, если мы решим выпустить новые функции, мы потратим время, необходимое для того, чтобы убедиться, что они полезны для людей и разработаны с учётом защиты конфиденциальности и безопасности пользователей, что является нашим главным приоритетом».
Предлагаемый проект Ellmann может помочь Google в гонке вооружений между технологическими гигантами по созданию более персонализированных «воспоминаний» о жизни. Google Photos и Apple Photos уже много лет предлагают пользователям «воспоминания» и создают альбомы на основе тенденций в фотографиях.
В ноябре Google объявила, что с помощью искусственного интеллекта «Google Фото» теперь может группировать похожие фотографии и организовывать скриншоты в легко находимые альбомы.
Такие корпорации бигтеха, как Google, Facebook✴ и Apple, со временем добавили элементы управления для минимизации нежелательных «воспоминаний», но пользователи сообщают, что иногда они всё равно появляются и требуют переключения нескольких настроек, чтобы минимизировать «неприятные воспоминания».