Тим Заман (Tim Zaman) ушёл из автомобильной компании Tesla, где с 2019 года возглавлял отдел AI Infra и принимал активное участие в создании суперкомпьютеров Dojo на базе специальных чипов Tesla D1. Одновременно c этой деятельностью он почти год курировал отдел машинного обучения в X (ранее Twitter). После приобретения Илоном Маском (Elon Musk) компании Twitter, он привлёк многих сотрудников Tesla к работе «по совместительству» в этой социальной сети.

Источник изображения: Pixabay

Тим Заман объявил о переходе из Tesla в компанию Google через несколько дней после того, как Google DeepMind представила нейросеть Gemini, свой ответ на серию больших языковых моделей OpenAI GPT. «В этот понедельник я присоединяюсь к Google DeepMind. Рад быть ребёнком среди легенд! — заявил Заман. — С 2016 года работал в NVIDIA, с 2019 — в Tesla. Теперь моя интуиция подводит меня к следующему предприятию, в котором есть ингредиенты, чтобы снова изменить мир».

Тим Заман о себе на своём сайте www.timzaman.nl

Осведомлённые аналитики утверждают, что на решение Замана о переходе в Google DeepMind повлиял уход из Tesla руководителя проекта Dojo Ганеша Венкатараманана (Ganesh Venkataramanan). Под названием Dojo были представлены несколько суперкомпьютеров Tesla, в которых используются специальные чипы Tesla D1, разработанные командой Венкатараманана и изготовленные TSMC.

Dojo были анонсированы в 2021 году, а первый суперкомпьютер был запущен в эксплуатацию в 2022 году. Он содержит около 3000 чипов D1, что обеспечивает общую производительность 1,1 эксафлопс для вычислений смешанной точности (BF16/CFP8). В настоящее время Tesla развернула несколько своих суперкомпьютеров Dojo в различных центрах обработки данных и создаёт собственный вычислительный центр в штаб-квартире в Остине, штат Техас.

Лондонская лаборатория искусственного интеллекта Google DeepMind разработала систему, которая, по словам авторов проекта, составляет самые точные в мире прогнозы погоды на десять дней. Модель получила название GraphCast — она работает быстрее и точнее погодного симулятора HRES (High-Resolution Forecast), который считается отраслевым стандартом.

Источник изображения: deepmind.google

Данные GraphCast были проанализированы экспертами Европейского центра среднесрочных прогнозов погоды (ЕЦСПП) — межправительственной организацией, которая составляет HRES. Действующая версия GraphCast размещена на сайте ЕЦСПП. В сентябре она за девять дней предсказала, что на побережье Новой Шотландии (Канада) обрушится ураган «Ли», а традиционные средства прогнозирования установили это лишь за шесть дней. Кроме того, они оказались менее точными в аспекте времени и места выхода стихии на берег.

GraphCast способна идентифицировать опасные погодные явления, даже не будучи обученной их находить. С интеграцией простого средства отслеживания циклонов модель прогнозирует их движение более точно, чем метод HRES. Учитывая, что климат становится всё более непредсказуемым, своевременность и точность прогнозов окажется критической при планировании мероприятий перед лицом угрозы стихийных бедствий.

Традиционные методы составления прогнозов погоды основаны на сложных физических уравнениях — они переводятся в алгоритмы, которые обрабатываются суперкомпьютерами. Это кропотливый процесс, который требует специальных знаний и огромных вычислительных ресурсов. Модель GraphCast сочетает алгоритмы машинного обучения и графовые нейросети — архитектуру для обработки пространственно структурированных данных. Для изучения причинно-следственных связей систему обучили на массиве метеорологической информации за 40 лет: ЕЦСПП предоставил данные мониторинга со спутников, радаров и метеостанций. Алгоритм, впрочем, не пренебрегает и традиционными подходами: когда в наблюдениях обнаруживаются пробелы, они восполняются за счёт физических методов прогнозирования.

Источник изображения: charts.ecmwf.int

GraphCast составляет прогнозы в разрешении 0,25° широты и долготы. Иными словами, Земля разбита на миллион участков, по каждому из которых готовится прогноз с пятью переменными на земной поверхности и шести атмосферными показателями, которые охватывают атмосферу планеты в трёх измерениях на 37 уровнях. Переменные включают в себя показатели температуры, ветра, влажности, осадков и давления на уровне моря. Учитывается также геопотенциал — гравитационная потенциальная энергия на единицу массы в указанной точке относительно уровня моря. В ходе испытаний модель GraphCast на 90 % превзошла самые точные детерминированные системы для 1380 тестовых объектов. В тропосфере — нижнем слое атмосферы — прогнозы GraphCast оказалась точнее HRES по 99,7 % тестовых переменных. При этом модель демонстрирует высокую эффективность: прогноз на десять дней выполняется менее чем за минуту на одной машине Google TPU v4, тогда как традиционный подход требует нескольких часов работы суперкомпьютера с сотнями машин.

Несмотря на внушительные результаты, разработка GraphCast ещё не завершена: модель достаточно точно оценивает движение циклонов, но пока уступает традиционным методам в составлении их характеристик. Не исключено, что модель будет совершенствоваться и по другим аспектам, что только повысит её точность. Google DeepMind предлагает всем желающим присоединяться к проекту — разработчик опубликовал исходный код модели.

Подразделение Google DeepMind предложило решение, которое позволяет наносить невидимую для человеческого глаза маркировку на изображения, созданные искусственным интеллектом.

Источник изображения: deepmind.com

Человеку становится всё труднее отличать сгенерированные ИИ изображения от картинок, созданных людьми, поэтому инженеры Google и других технологических гигантов всерьёз задумались о разработке технических средств для этого. Одним из решений может стать разработанная компанией технология SynthID, позволяющая помечать изображения ИИ-генераторов, не ухудшая их качества. Она работает путем внедрения тонких изменений в отдельные пиксели изображений, создавая водяной знак, невидимый для человеческого глаза, но распознаваемый компьютерами. Такая пометка обнаруживается даже после добавления различных фильтров, внесения цветокоррекции или регулировки яркости, утверждают в Google. Более того, SynthID нельзя удалить, даже если обрезать изображение.

Google была одной из технологических компаний, пообещавших администрации президента США внедрить некое подобие «водяных знаков» для ИИ-контента. Параллельно аналогичной работой занимается Adobe – компания создаёт методы кодирования данных, позволяющие отслеживать способы создания изображения и документировать последующие изменения. Не исключено, что располагающие мощными ИИ-платформами злоумышленники преднамеренно откажутся от маркировки ИИ-изображений, но если крупные игроки будут помечать их в обязательном порядке, люди станут относиться к изображениям без «водяных знаков» настороженно.

В этом году Google оказалась втянута в бескомпромиссную конкурентную борьбу в области генеративного ИИ и на протяжении последних месяцев искала способы повысить эффективность своих исследований в этой области. В апреле Google объединила лондонскую исследовательскую лабораторию DeepMind с Brain, проектом по изучению ИИ из Кремниевой долины. И вот, четыре месяца спустя, объединённая команда Google DeepMind тестирует амбициозные новые инструменты, которые могут превратить генеративный ИИ в личного тренера по всем житейским вопросам.

Источник изображения: Pixabay

Google DeepMind тестирует генеративный ИИ для выполнения более 21 типа разнообразных личных и профессиональных задач, включая инструменты для предоставления жизненных советов, идей, инструкций по планированию и концепций обучения. Scale AI, подрядчик, работающий с Google DeepMind, собрал тестовые фокус-группы, в которые вошли в том числе более 100 экспертов с докторскими степенями в различных областях.

Функция создания идей может давать пользователям предложения или рекомендации в зависимости от ситуации. ИИ может обучать новым навыкам или улучшать существующие, а возможность планирования может сверстать финансовый бюджет и предложить планы питания и тренировок.

Google DeepMind опробует и другие возможности для использования ИИ на рабочем месте, включая написание научных, творческих и профессиональных текстов, а также распознавание закономерностей и извлечение данных из текста. Разработанные инструменты также могут составлять критические анализы аргументов, оптимизировать алгоритмы, объяснять графики и генерировать викторины, головоломки со словами и числами и даже играть в футбол.

А ещё Google в настоящее время тестирует помощника для журналистов, который может создавать новостные статьи, переписывать их и предлагать заголовки. Компания представила программное обеспечение под названием Genesis руководителям The Times, The Washington Post и News Corp, материнской компании The Wall Street Journal.

Источник изображения: unsplash.com

Помимо прочего, участники тестирования проверяют способность помощника отвечать на интимные вопросы о проблемах в жизни людей. Например, тестируемого чат-бота просят дать совет в сложной ситуации, когда человек приглашён к другу на свадьбу в другой город, но сидит без работы, не имеет возможности приехать и не знает, как поступить.

Эти проекты свидетельствует о серьёзных усилиях Google по захвату лидерства в области ИИ и сигнализирует о растущей готовности компании доверять ИИ решение чувствительных задач и отказе от прежней осторожности в отношении генеративного ИИ, хотя имеются обоснованные опасения слишком сильной эмоциональной привязанности людей к чат-ботам.

Эксперты по безопасности утверждают, что пользователи могут столкнуться с «ухудшением здоровья и самочувствия» и «потерей свободы воли», если они примут жизненный совет от ИИ. Они опасаются, что некоторые пользователи, слишком зависимые от технологии, могут поверить в её реальную разумность. Эксперты также выразили обеспокоенность по поводу экономического вреда генеративного ИИ, утверждая, что это может привести к «дисквалификации творческих профессий».

Новые инструменты пока находятся на стадии тестирования, и компания может принять решение не использовать их или ограничить функциональность, как это было сделано при запуске чат-бота Bard в марте этого года, когда был установлен запрет на медицинские, финансовые или юридические консультации.

Представитель Google DeepMind заявил: «Мы долгое время работали с различными партнёрами над оценкой наших исследований, что является важным шагом в создании безопасных и полезных технологий. В любое время существует множество таких оценок. Отдельные оценки не являются репрезентативными для нашей дорожной карты продукта».

Модели искусственного интеллекта серии DeepMind Alpha оказались первыми в мире по ряду категорий — например, AlphaGo впервые обыграла чемпиона мира по го. Теперь эти модели, первоначально обученные на играх, решили использовать для других задач, к которым они продемонстрировали неожиданные способности.

Источник изображений: deepmind.com

Первоначально AlphaGo обучали на играх, в которые играли люди. Её наследница AlphaGo Zero обучалась, играя сама с собой, а AlphaZero таким же способом освоила шахматы и японскую игру сёги. MuZero обучилась этим и другим играм, даже не зная их правил, которые, к слову, ограничивают игрока в способах решения задачи.

В принадлежащих Google центрах обработки данных (ЦОД) работает система Borg, ответственная за распределение задач — она анализирует запросы и мгновенно распределяет необходимые ресурсы. В своей работе система руководствуется установленными вручную правилами, которые в принципе не могут учитывать всех реальных схем распределения рабочей нагрузки, порождая тем самым неизбежную неэффективность, которую к тому же трудно отследить.

В какой-то момент данные Borg передали модели AlphaZero, которая начала выявлять закономерности в распределении ресурсов ЦОД в зависимости от поступающих задач, после чего разработала новые способы прогнозирования этой нагрузки и управления ею. В реальных производственных условиях это помогло сократить долю недостаточно используемого оборудования на 19 %, что в масштабах Google представляется значительной величиной.

Нейросети MuZero поручили работу с видео на YouTube на предмет повышения эффективности сжатия — эта область позволяет добиваться заметных результатов даже при небольшой оптимизации. Модели удалось снизить битрейт видео на 4 %, что в масштабах YouTube это немало, и предложить новые споособы группировки кадров. Наконец, родственная AlphaZero модель AlphaDev помогла улучшить алгоритмы сортировки по сравнению со стандартными в используемой Google библиотеке. Она также оптимизировала функцию хеширования для небольших диапазонов байтов (от 9 до 16), снизив нагрузку на 30 процентов.

Иными словами, первоначально предназначенные для побед в играх ИИ-модели сумели изучить, казалось бы, чуждые для себя области и предложить для них способы оптимизировать рабочие задачи, проявив при этом определённую гибкость. А в прошлом году AlphaZero разработала новые, более эффективные способы умножения некоторых математических матриц — впервые за полвека.

Объединённая команда Google DeepMind рассказала о своём новом проекте — визуальной языковой модели Flamingo, которая составляет описания для коротких видео раздела YouTube Shorts. Такие записи публикуются в считанные минуты и зачастую лишены описаний и содержательных заголовков, что усложняет их поиск. Flamingo призвана решить эту проблему.

Источник изображения: deepmind.com

Визуальная языковая модель составляет описания коротких видео, анализируя их начальные кадры и предлагая пояснения тому, что происходит, например: «собака удерживает на голове стопку крекеров». Созданные ИИ текстовые описания сохраняются в формате метаданных — это поможет «лучше классифицировать видео и сопоставлять результаты поиска с пользовательскими запросами». ИИ решает характерную для раздела YouTube Shorts проблему: авторы зачастую пренебрегают метаданными к видео, да и сами ролики в основном просматриваются в общей ленте, и в результате обнаружить их через поиск не получается.

Генерируемые Flamingo описания не показываются ни зрителям, ни даже самим авторам видео, рассказал директор по управлению продуктом YouTube Shorts Тод Шерман (Todd Sherman). Тем не менее, текст этих описаний соответствует этическим нормам продуктов Google, хотя и маловероятно, что ИИ незаслуженно попытается выставить видео в дурном свете. Flamingo уже запущен на YouTube и добавляет свои описания ко всем новым роликам раздела Shorts — процедуру также прошла значительная часть уже опубликованных материалов, и в первую очередь наиболее популярные.

Администрация платформы также не исключила, что ИИ-модель начнёт работать и с полноформатными длинными видео YouTube, хотя потребность в этом не столь высока: люди тратят часы, дни, недели и даже месяцы на съёмку и редактирование этих материалов, поэтому добавление метаданных к ним — лишь небольшая часть процесса создания видео. А поскольку зрители выбирают длинные видео с учётом миниатюры и заголовка, у создателей этих записей есть естественный стимул для правильного заполнения метаданных.

В среду исследователи из DeepMind опубликовали отчёт по исследованию «Глубокое обучение с подкреплением для обучения миниатюрных гуманоидных роботов сложным навыкам движения и стратегического понимания», к которому был приложен демонстрационный ролик. Пользователей Twitter возмутило слишком грубое обращение с роботами.

Источник изображений: DeepMind

Исследователи из DeepMind использовали глубокое обучение с подкреплением ИИ, чтобы научить роботов-гуманоидов играть в футбол один на один. Сначала они тренировали навыки в одиночестве, а затем комбинировали их с настройками матча. Вместе с отчётом авторы опубликовали 27-секундное видео, на котором один экспериментатор неоднократно толкал крошечного робота-гуманоида на землю. Несмотря на вмешательство крошечному роботу все равно удаётся забить мяч в ворота.

Однако пользователи Twitter не оценили стараний исследователей и очень живо отреагировали на ролик, приложенный к исследованию:

• «Жалко этих маленьких чуваков. Просто дайте ему спокойно играть в футбол».
• «Мой мозг говорит: хватит быть подлым!».
• «Это все веселье и игры, пока робот не начнёт сопротивляться».

Исследователи никак не отреагировали на критику общественности и на демонстрационном веб-сайте «Обучение гибким футбольным навыкам двуногого робота с помощью глубокого обучения с подкреплением» исследователи написали, что «хотя роботы по своей природе хрупкие, незначительные модификации оборудования вместе с базовой регуляризацией поведения во время тренировок приводят к безопасным и эффективным движениям, при этом сохраняя возможность выполнять их динамично и подвижно».

Два крупнейших исследовательских подразделения Google, специализирующихся на проектах в области искусственного интеллекта, будут объединены в новом крупном подразделении Google DeepMind под общим руководством. Об этом в письме работникам компании сообщил её глава Сундар Пичаи (Sundar Pichai).

Источник изображения: blog.google

Гендиректор Google напомнил, что с 2016 года приоритетным направлением деятельности Google является ИИ — оно помогло компании улучшить большинство её основных продуктов, включая поисковую службу, YouTube, Gmail и приложение камеры на телефонах Pixel. А предприятия и разработчики получили доступ к передовым решениям в сфере ИИ через инфраструктуру Google Cloud.

Темпы прогресса в области ИИ продолжают ускоряться, поэтому в компании решили создать подразделение, которое поможет упорядочить работу над проектами в этой области. Подразделение получило название Google DeepMind — оно формируется на базе команды Brain из Google Research и команды DeepMind, ставшей частью Google после покупки одноимённого стартапа. За последнее десятилетие специалисты этих подразделений разработали множество интересных проектов: нейросеть для игры в го AlphaGo, архитектуру глубоких нейросетей Transformer, программу анализа текста word2vec, генератор необработанного звука WaveNet, программу предсказания пространственной структуры белка AlphaFold и многое другое.

Главой Google DeepMind назначен Демис Хассабис (Demis Hassabis) — бывший глава DeepMind, а старший научный сотрудник команды Google Brain Джефф Дин (Jeff Dean) теперь назначается старшим научным сотрудником всей Google — эта должность распространяется на подразделения Google Research и Google DeepMind. При этом Google Research продолжит работу в таких областях как алгоритмы, конфиденциальность и безопасность, квантовые вычисления, изменения климата, а также этические аспекты ИИ.

Инженеры подразделения Alphabet DeepMind AI рассказали о создании системы искусственного интеллекта (ИИ) AlphaCode, которая способна генерировать код и решать задачи, предлагаемые на чемпионатах по программированию. Для этого нейросеть обучили двум языковым навыкам: пониманию постановки задачи и поиску её решения.

Источник изображения: Christopher Gower / unsplash.com

Сегодня существуют системы, способные решать отдельные задачи, генерируя программный код, однако эти решения не носят универсального характера: обученный одному классу задач ИИ с большой вероятностью терпит неудачу, когда условия задачи кардинально меняются. Поэтому инженеры Google применили несколько иной подход, положив, что описание задачи — это выражение того, что должен делать алгоритм, а её решение — то же самое, но изложенное на другом языке. Поэтому при обучении системы исследователи решили достичь двух целей: сначала ИИ должен усвоить описание задачи, а затем на основании своего внутреннего представления создать программный код.

В качестве источника данных выступил архив GitHub с более чем 700 Гбайт кода, которые перемежались с комментариями на естественном языке, поясняющими его работу. После первого этапа обучения система перешла к этапу настройки: в DeepMind организовали внутренний чемпионат по программированию, материалы которого также «скормили» ИИ. В этих материалах был полный цикл: постановка задачи, работающий и неработающий код, а также тестовые примеры для его проверки. Подобный подход применялся и раньше, но на сей раз инженеры выделили значительно больше ресурсов на обучение — «на порядки больше, чем в предыдущей работе».

Источник изображения: Procreator / unsplash.com

На начальном этапе результат был далёк от идеала: более 40 % предлагаемых нейросетью решений либо требовали слишком больших аппаратных ресурсов, либо решение задачи занимало слишком много времени. Проводя анализ кода, создатели системы обнаружили, что при решении различных задач, даже если программа выдавала правильный результат, система часто использовала схожие фрагменты кода, выдающие одинаковые ответы при одинаковых исходных данных. Отфильтровав некорректные варианты, AlphaCode смогла выступать на уровне программистов с опытом работы от нескольких месяцев до года, войдя в число справившихся с задачами 54 % конкурсантов на чемпионате.

Такого результата удалось достичь, введя автоматизированную проверку по 100 тыс. предлагаемых системой решений — увеличение этого числа приводило к пропорциональному росту доли правильных ответов. Но пропорционально же росла и ресурсоёмкость вычислительной системы: первоначально для её обучения потребовался объём энергии, в 16 раз превышающий годовую потребность средней американской семьи.

Учёные сделали вывод, что система действительно научилась работать, как и было задумано, предлагая корректные решения, а не случайные фрагменты кода «в надежде», что какой-то из них сработает. Однако при усложнении условий значительно растёт ресурсоёмкость, а значит, сегодня услуги настоящих программистов по-прежнему востребованы, хотя и открываемые ИИ перспективы тоже заслуживают внимания.