На конференции Google I/O компания Google анонсировала облачный ИИ-суперкомпьютер Compute Engine A3, который сможет предложить клиентам компании до 26 000 ускорителей вычислений NVIDIA H100. Это ещё одно доказательство того, насколько большое значение Google придаёт конкурентной битве с Microsoft за первенство в области ИИ. Что интересно, самый быстрый в мире на сегодняшний день общедоступный суперкомпьютер Frontier оснащён 37 000 ускорителями AMD Instinct 250X.

Источник изображения: NVIDIA

«Для наших клиентов мы можем предоставить суперкомпьютеры A3 до 26 000 GPU в одном кластере и работаем над созданием нескольких кластеров в крупнейших регионах», — заявила представитель Google, добавив, что «не все наши местоположения будут масштабироваться до такого большого размера». Таким образом любой облачный клиент Google может получить в своё распоряжение заточенный под ИИ суперкомпьютер с числом ускорителей вычислений до 26 000.

Клиенты Google Cloud смогут тренировать и запускать приложения ИИ через виртуальные машины A3 и использовать службы разработки и управления ИИ Google, доступные через Vertex AI, Google Kubernetes Engine и Google Compute Engine. Виртуальные машины A3 основаны на чипах Intel Xeon четвёртого поколения (Sapphire Rapids), которые работают в связке с ускорителями H100. Пока не ясно, будут ли виртуальные CPU поддерживать ускорители логических выводов, встроенные в чипы Sapphire Rapids.

Google утверждает, что A3 обеспечивает производительность для задач ИИ до 26 экзафлопс, что значительно сокращает время и затраты на обучение ИИ. Необходимо учитывать, что компания указывает производительность вычислений в специализированном формате для обучения ИИ TF32 Tensor Core с одинарной точностью, что демонстрирует производительность примерно в 30 раз выше, чем математика с плавающей запятой с двойной точностью FP64, которая используется в большинстве классических приложений.

Количество графических процессоров стало важной визитной карточкой облачных провайдеров для продвижения своих услуг в сфере ИИ. Суперкомпьютер Microsoft в Azure для ИИ, созданный в сотрудничестве с OpenAI, имеет 285 000 ядер CPU и 10 000 ускорителей на GPU. Microsoft также анонсировала свой суперкомпьютер для ИИ следующего поколения с ещё большим количеством графических процессоров. Облачный сервис Oracle предоставляет облачный доступ к кластерам, насчитывающим до 512 GPU и работает над новой технологией для повышения скорости обмена данными между ними.

Источник изображения: unsplash.com

Хотя Google продолжает рекламировать собственные чипы для искусственного интеллекта TPU v4, используемые для запуска внутренних приложений ИИ, таких как Google Bard, ускорители на GPU от NVIDIA стали де-факто стандартом для построения инфраструктуры ИИ. Инструментарий параллельного программирования NVIDIA CUDA обеспечивает самые быстрые результаты благодаря специализированным ядрам ИИ и графическим ядрам H100.

Облачные провайдеры осознали, что универсального подхода недостаточно — требуется инфраструктура, специально созданная для обучения ИИ. Поэтому в настоящее время происходит массовое развёртывание систем на базе ускорителей H100, а NVIDIA в марте запустила собственный облачный сервис DGX, стоимость аренды которого значительно выше по сравнению с арендой систем на ускорителях A100 предыдущего поколения. Утверждается, что H100 на 30 % экономичнее и в 3 раза быстрее, чем NVIDIA A100, например, в обучении большой языковой модели MosaicGPT с семью миллиардами параметров.

A3 является первым облачным ИИ-суперкомпьютером, в котором GPU подключены через инфраструктурный процессор (IPU) Mount Evans, разработанный совместно Google и Intel. «В A3 используются IPU со скоростью 200 Гбит/с, передача данных от одного GPU к другому осуществляется в обход CPU через отдельные интерфейсы. Это позволяет увеличить пропускную способность сети до 10 раз по сравнению с нашими виртуальными машинами A2, с низкими задержками и высокой стабильностью пропускной способности», — утверждают представители Google.

Источник изображения: Pixabay

Суперкомпьютер A3 построен на основе сетевой структуры Jupiter, которая соединяет географически разнесённые кластеры CPU через оптоволоконные каналы связи. Одна виртуальная машина A3 включает восемь ускорителей H100, соединённых между собой с помощью запатентованной технологии NVIDIA. Ускорители будут подключены через коммутаторы NVSwitch и использовать NVLink со скоростью обмена данными до 3,6 Тбит/с.

Аналогичную скорость скоро готова будет предложить Microsoft на своём ИИ-суперкомпьютере, построенном на тех же технологиях NVIDIA. При этом суперкомпьютер от Microsoft может похвастаться сетевыми возможностями от производителя чипов Quantum-2 со скоростью до 400 Гбит/с. Количество ускорителей вычислений H100 в своём ИИ-суперкомпьютере следующего поколения Microsoft пока держит в секрете. Но вряд ли оно окажется меньше, чем у главного конкурента.

На днях эксперты и представители китайских университетов, исследовательских институтов и компаний, занимающихся передовыми вычислениями, приняли участие в конференции в Тяньцзине, посвящённой созданию в Китае «суперкомпьютерного интернета». Сеть будет объединять свыше 15 суперкомпьютерных платформ, обеспечивая одновременный доступ к нескольким из них через «браузер». Ресурс будет доступен для решения отраслевых задач от фармакологии до космоса.

Источник изображения: Pixabay

Согласно открытым источникам, например списку TOP-500 самых производительных суперкомпьютеров мира, Китай уверенно лидирует по числу самых мощных суперсистем, хотя с прошлого года перестал предоставлять информацию о самых быстрых машинах. Тем не менее, в ноябрьском обновлении списка было 162 китайских суперкомпьютера и только 126 американских. Несмотря на явное преимущество, Китай отстаёт в практическом применении суперкомпьютерных платформ. Была информация, что мощности часто простаивают и создаются просто потому, что это обещало субсидии от государства.

В то же время избыток вычислительных мощностей в одном месте не означает, что они не востребованы в другом. Но передать такой ресурс куда-то далеко так просто нельзя. Для этого нужны очень и очень широкие каналы связи и программная поддержка. Именно этим и многим другим, включая подготовку кадров, намерена заняться группа, целью которой станет создание в Китае интернета для суперкомпьютеров. Ожидается, что проект начнёт работать к концу 2025 года.

Распределённый вычислительный ресурс будет предоставляться для отраслевых пользователей от разработчиков новых лекарств до финансов, искусственного интеллекта, прогнозирования погоды и обслуживания космических программ, но всё это, в конечном итоге, приведёт к повышению качества жизни простых граждан, путь даже им никогда не позволят войти в этот интернет.

Добавим, в Китае над рядом похожих пилотных проектов уже работает компания Huawei. Её опыт и оборудование могут лечь в основу будущего национального суперкомпьютерного интернета.

Google рассказала о суперкомпьютерах собственной разработки, которые она использует для обучения систем искусственного интеллекта вроде чат-бота Bard. По версии компании, эти системы быстрее и эффективнее, чем сопоставимые с ними ускорители NVIDIA A100.

Google TPU v4. Источник изображения: Google

Инженеры Google разработали собственный чип Tensor Processing Unit или TPU — такие чипы используются более чем в 90 % задач компании по обучению ИИ, в результате на свет появляются чат-боты, способные общаться почти как человек, и системы, генерирующие изображения. Сейчас компания работает с TPU уже четвёртого поколения — в опубликованной инженерами Google статье рассказывается о суперкомпьютере на базе более чем 4000 таких чипов и оптических линиях связи между компонентами системы.

Обучение большой языковой модели Google PaLM, крупнейшей из тех, о которых компания поведала общественности, производилось при помощи двух суперкомпьютеров на 4000 чипов в течение 50 дней. Суперкомпьютеры располагают механизмами перенастройки соединений между чипами на лету — это помогает избегать сбоев и повышает производительность.

Google только сейчас раскрыла подробности о разработанной её инженерами системе, но отметила, что впервые этот суперкомпьютер был запущен в 2020 году в центре обработки данных в округе Мейс (США, шт. Оклахома). Он, в частности, использовался для обучения ИИ Midjourney — эта нейросеть генерирует изображения по текстовому описанию. По версии Google, её чип TPU четвёртого поколения в 1,7 раза быстрее и в 1,9 раза энергоэффективнее вышедшего одновременно с ним на рынок ускорителя NVIDIA A100. С моделью H100 сравнение не производилось — она вышла на рынок позже, и в её основе лежат более современные технологии. Однако в компании намекнули, что, возможно, работают над новым TPU, способным конкурировать и с H100.

За прошедший год в мире зародилось множество проектов по созданию гибридных вычислительных систем, состоящих из связанных между собой квантовых компьютеров и классических суперкомпьютеров. Таким образом, квантовые системы начнут осваивать ниши практических вычислений задолго до появления универсального квантового вычислителя. Продвинутые в создании суперкомпьютеров японцы спешат воспользоваться этим преимуществом и создать рабочее решение к 2025 году.

Источник изображения: Riken Quantum Computing

Подключить к будущей квантовой системе в Японии планируют ни много ни мало, а систему с сильнейшим мировым уровнем, которая до 2022 года целых два года удерживала первое место в списке мощнейших суперсистем мира — это компьютер Fugaku совместной разработки и производства компании Fujitsu и Института физико-химических исследований RIKEN. Будущего квантового партнёра этой системы Fujitsu и RIKEN также будут создавать вместе, и первый его прототип построят в городе Вако префектуры Сайтамо (недалеко от Токио) уже к марту текущего года.

Ожидается, что суперкомпьютеры смогут частично смягчить такие «детские болезни» квантовых систем, как вероятностный характер вычислений (значительный уровень ошибок) и короткое время жизни квантовых состояний кубитов. Отметим, сегодня кубиты фактически подключаются к обычным компьютерам, которые устанавливают и считывают их состояния в процессе исполнения алгоритмов, поэтому ничего принципиально нового и сложного в гибридных квантово-классических вычислениях нет. Но и уровень сложности будущей задачи нельзя преуменьшать — согласованная работа в режиме расчётов потребует новых программных сред, инструментов и даже алгоритмов.

Для подготовки к будущей совместной работе Fugaku и пока безымянной квантовой системы институт RIKEN создаёт команду разработчиков, которая с 2023 года будет заниматься изучением различных методов и инструментов расчёта для облегчения передачи данных между квантовым компьютером и Fugaku. Запуск системы в работу ожидается в 2025 году. Вскоре после этого партнёры намерены довести гибридную систему до уровня «безошибочного» квантового компьютера. Компания Google, например, обещает создать исключительно квантовый вычислитель без ошибок к 2029 году. Японские инженеры намерены обогнать в этом Google за счёт гибридного подхода.

Исследователи, участвующие в программе Breakthrough Listen, предусматривающей поиск техногенных сигналов инопланетной жизни, получили новый мощный инструмент — выделенный проекту суперкомпьютер позволяет повысить интенсивность поиска и многократно увеличить число изучаемых целей. Новый инструмент интегрирован с крупнейшим в Южном полушарии радиотелескопом.

Источник изображения: South African Radio Astronomy Observatory

Радиотелескоп MeerKAT Южноафриканской радиоастрономической обсерватории расположен в отдалённом регионе Южной Африки и с 2016 года анализирует информацию о тысячах галактик. Его наблюдательная сеть включает 64 тарелки, без устали исследующих небо.

Breakthrough Listen уже ищет инопланетные сигналы с помощью телескопов Green Bank Telescope (GBT) и Automated Planet Finder в США, Parkes Telescope в Австралии, сканирующих космос в поисках внеземных сообщений. В четверг команда учёных объявила, что начались наблюдения с помощью «самого мощного цифрового инструмента», когда-либо использовавшегося для поиска сигналов и интегрированного с MeerKAT. Система способна помочь исследованиям даже без изменения положения самих антенн, вместо этого используется компьютерная обработка данных для «нового взгляда» на то, что уже видно.

По словам представителя Breakthrough Listen, MeerKAT, состоящий из 64 тарелок, может охватывать область, в 50 раз большую, чем американский телескоп GBT, а новый суперкомпьютер позволяет объединить сигналы с тарелок для получения результатов в высоком разрешении, без помех другим астрономам, пользующимся телескопом.

Это позволит команде Breakthrough Listen использовать возможности MeerKAT почти 24 часа в сутки и увеличивает число целей для изучения с его помощью, в 1000 раз. Среди исходных целей — ближайшая к Солнечной системе звезда Проксима Центавра, окружающие которую планеты могут быть потенциально обитаемыми.

Рутинные наблюдения Breakthrough Listen с использованием MeerKAT уже ведутся, и команда рассчитывает представить первые научные результаты в ближайшие месяцы.

Компания IBM официальным пресс-релизом сообщила, что Ливерморская национальная лаборатория им. Лоуренса стала первым покупателем единственного в мире компьютера, имитирующего работу головного мозга. Уникальная система базируется на разработке IBM по созданию нейросинаптического процессора. Проект стартовал в 2008 году по заказу агентства DARPA. Ожидалось, что IBM создаст процессор, способный на оперативный анализ данных на поле боя. Процессор должен был работать по алгоритмам, имитирующим работу головного мозга. Соответственно, в основе разработки лежит архитектура, отличная от классической неймановской логики.

Структура кристалла процессора IBM TrueNorth (IBM)

После серии изысканий в 2011 году компания IBM представила процессор TrueNorth. Решение выпускалось с использованием 45-нм техпроцесса SOI-CMOS и содержало 256 аналогов нейронов. Кроме этого одно ядро содержало 262 тысяч программируемых аналогов синапсов, а в другом находились 65 тысяч обучаемых синапсов. Естественно, все эти «нейроны и синапсы» представляли собой электронные цепи из обычных кремниевых транзисторов, но связанных между собой специальной логикой по типу ячеистых сетей.

Процессор IBM TrueNorth второго поколения (IBM)

Второе поколение процессоров TrueNorth вышло в 2014 году. Производством процессора с использованием 28-нм техпроцесса занималась компания Samsung. Новый процессор включал уже один миллион цифровых нейронов и 256 млн программируемых синапсов. При всём этом процессор TrueNorth — это чип с 5,4 млрд транзисторов. Что поразительно, довольно большое число транзисторов не сказалось на потреблении процессора. В ходе вычислений с производительностью 46 млрд синаптических операций в секунду процессор потребляет всего 70 милливатт (0,8 вольт). Ливерморской лаборатории передан компьютер на базе 16 таких процессоров и его потребление составляет всего 2,5 Вт — как у планшета.

16-ядерная система на «когнитивных» процессорах IBM TrueNorth, проданная Ливерморской лаборатории

Кроме компьютера компания IBM включила в поставку набор необходимого программного обеспечения как для работы системы, так и для разработки программ. Ожидается, что имитирующий работу мозга компьютер поможет решить ряд сложных для традиционной логики задач. В лаборатории не скрывают, что основным направлением деятельности с использованием «познающей» системы станет изучение проблем по заказам Национальной администрации по ядерной безопасности (National Nuclear Security Administration), которая занимается широким спектром вопросов контроля над распространением ядерного вооружения. Также в лаборатории будут прорабатывать варианты создания суперкомпьютеров будущего с 50-кратно увеличенной производительностью по отношению к современным системам.

Ведущий разработчик «когнитивного» процессора IBM, Дхармендра Модха (Dharmendra S. Modha)

Кстати, по неофициальным данным, которые приводит сайт The Wall Street Journal, система IBM обошлась лаборатории всего в один млн долларов США. В принципе, неплохо для IBM за систему с 16-ядерным процессором. Компаниям Intel и AMD такое даже не снилось.