Сегодня на мероприятии Vision 2024 компания Intel представила множество новых продуктов, среди которых ИИ-ускорители Gaudi 3. По заявлениям создателей, они позволяют обучать нейросети в 1,7 раза быстрее, на 50 % увеличить производительность инференса и работают на 40 % эффективнее конкурирующих H100 от NVIDIA, которые являются самыми популярными на рынке.

Источник изображений: Intel

Gaudi 3 — третье поколение ускорителей ИИ, появившихся благодаря приобретению Intel в 2019 году компании Habana Labs за $2 млрд. Массовое производство Gaudi 3 для OEM-производителей серверов начнётся в третьем квартале 2024 года. Помимо этого, Gaudi 3 будет доступен в облачном сервисе Intel Developer Cloud для разработчиков, что позволит потенциальным клиентам испытать возможности нового чипа.

Gaudi 3 использует ту же архитектуру и основополагающие принципы, что и его предшественник, но при этом он выполнен по более современному 5-нм техпроцессу TSMC, тогда как в Gaudi 2 использованы 7-нм чипы. Ускоритель состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores (TPC) пятого поколения и восемь матричных математических движков (MME), а также 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Вокруг установлено 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Также Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.

Gaudi 3 будет выпускаться в двух формфакторах. Первый — OAM (модуль ускорителя OCP) HL-325L, использующийся в высокопроизводительных системах на основе ускорителей вычислений. Этот ускоритель получит TDP 900 Вт и производительность 1835 терафлопс в FP8. Модули OAM устанавливаются по 8 штук на UBB-узел HLB-325, которые можно объединять в системы до 1024 узлов. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти.

OAM устанавливаются в универсальную плату, поддерживающую до восьми модулей. Модули и платы уже отгружены партнёрам, но массовые поставки начнутся лишь к концу года. Восемь OAM на плате HLB-325 дают производительность 14,6 петафлопс в FP8, остальные характеристики масштабируются линейно.

Второй формфактор — двухслотовая карта расширения PCIe с TDP 600 Вт. По заявлениям Intel, несмотря на заметно меньший TDP этой версии, производительность в FP8 осталась той же — 1835 терафлопс. А вот масштабируемость хуже — модули рассчитаны на работу группами по четыре. Gaudi 3 в данном формфакторе появятся в 4 квартале 2024 года.

Dell, HPE, Lenovo и Supermicro уже поставили клиентам образцы систем с Gaudi 3 с воздушным охлаждением, а в ближайшее время должны появится модели с жидкостным охлаждением. Массовое производство начнётся лишь в 3 и 4 кварталах 2024 года соответственно.

Intel также поделилась собственными тестами производительности, сравнив Gaudi 3 с системами на основе H100. По словам Intel, Gaudi 3 справляется с обучением нейросетей в 1,5–1,7 раза быстрее. Сравнение велось на моделях LLAMA2-7B и LLAMA2-13B на системах с 8 и 16 ускорителями, а также на модели GPT 3-175B на системе с 8192 ускорителями. Intel не стала сравнивать системы на Gaudi 3 с системами на H200 от NVIDIA, у которого на 76 % больше памяти, а её пропускная способность выше на 43 %.

Intel сравнила Gaudi 3 с H200 в инференсе, но уже не кластерами, а отдельным модулем. В пяти тестах с LLAMA2-7B/70B производительность Gaudi 3 оказалась на 10–20 % ниже, в двух равна и в одном чуть выше H200. При этом Intel заявляет о 2,6-кратном преимуществе в энергопотреблении по сравнению с H100.

На минувшем квартальном отчётном мероприятии генеральный директор Intel Патрик Гелсингер (Patrick Gelsinger) был вынужден коснуться темы американских санкций в отношении Китая, поскольку регион продолжает оставаться крупным рынком сбыта электронных компонентов. В целом, Intel надеется на развитие своего бизнеса в Китае, и считает, что без него в современных условиях не обойтись.

Источник изображения: Intel

В интервью ресурсу Barron’s глава компании привёл довольно простую и убедительную статистику. По его словам, около 25 % всех выпускаемых полупроводниковых компонентов в мире так или иначе используются на территории Китая, а ещё от 25 до 30 % чипов эта страна поставляет на экспорт. По сути, до половины всех реализуемых в мире полупроводниковых изделий проходит через Китай. Страна, по словам Гелсингера, является «жизненно важным звеном в мировой цепочке поставок». По этой причине американской компании нужно выстраивать своё взаимодействие с Китаем на стратегических, долгосрочных принципах.

Непосредственно Intel намеревается в отношении Китая придерживаться трёх принципов в долгосрочной работе: контролировать доступ к технологиям, синхронизировать усилия с союзниками, но при этом поставлять в КНР максимально возможные объёмы продукции. Пандемия в этом смысле преподнесла многим производителям урок, когда стало понятно, что они сильно зависят от сконцентрированных в одной части света источников поставок продукции. Вопрос диверсификации производственных баз по географическому признаку для Intel является важной задачей, и уязвимость Китая для санкций США с этой точки зрения является лишь частным случаем.

На квартальной конференции в момент беседы с аналитиками Патрик Гелсингер подчеркнул, что действующие санкции США в отношении Китая сосредоточены на поставках наиболее производительных ускорителей вычислений, хотя интересы Intel они тоже затрагивают. Как и в случае с NVIDIA, руководство Intel сейчас не слишком обеспокоено влиянием санкций на выручку от поставок ускорителей вычислений, поскольку спрос на семейство продукции Gaudi превышает предложение, и если в Китай их поставлять будет нельзя, то это компенсируется на других географических рынках.

Глава Intel убеждён, что компании удастся успешно выстроить бизнес с Китаем даже в условиях санкционных ограничений. Вероятное влияние новых правил экспортного контроля США, которые вступили в силу в уходящем месяце, уже включено в прогноз Intel по динамике выручки в четвёртом квартале, и он говорит о возможности её последовательного роста почти на $1 млрд, а также увеличении на 8 % относительно аналогичного периода прошлого года. За предыдущие 90 дней, как было отмечено на квартальном мероприятии Intel, компании удалось удвоить объёмы поставок ускорителей Gaudi. Новейшие решения поколения Gaudi3 уже существуют в виде образцов, они будут представлены в следующем году, а в 2025 году изделия семейства Falcon Shores объединят возможности GPU и Gaudi в одном продукте.

В июле этого года компания Intel объявила о начале поставок в Китай ускорителей вычислений Gaudi2, которые соответствуют актуальным ограничениям США в области экспортного контроля. Как сообщают тайваньские источники, данный вид продукции оказался очень востребован в КНР, и теперь Intel приходится заказывать дополнительное количество чипов у компании TSMC, чтобы удовлетворить спрос.

Источник изображения: Intel

Напомним, что с осени прошлого года на поставку ускорителей вычислений в Китай действуют ограничения со стороны США, распространяющиеся на любые изделия, использующие технологии американского происхождения. Являющаяся лидером сегмента компания NVIDIA в сжатые сроки адаптировала для китайского рынка ускорители A800, у которых по сравнению с A100 была уменьшена скорость обмена данными, позже приступив к поставкам в Китай аналогичным образом адаптированных ускорителей H800. Руководство AMD тоже недавно заявило, что компания готова предлагать китайским клиентам ускорители вычислений, адаптированные с учётом действующих санкций США.

Как известно, ускорители NVIDIA оказались в дефиците по всему миру из-за резко возросшего спроса и неспособности TSMC проводить тестирование и упаковку профильных чипов в необходимых количествах. Китай тоже не смог избежать этой участи, а санкции США только усугубили ситуацию. Как сообщает South China Morning Post со ссылкой на опрошенные известным таблоидом DigiTimes отраслевые источники, ускорители Gaudi2 на китайском рынке пользуются высоким спросом с момента начала поставок в июле, и теперь Intel вынуждена обратиться к TSMC за увеличением объёмов выпуска.

В первом поколении ускорители Gaudi использовали услуги TSMC не только для производства вычислительных чипов по 16-нм технологии, но и при упаковке с использованием технологии CoWoS, поэтому пока сложно судить, в какой степени Intel зависит от услуг TSMC при экспансии производства Gaudi2. Китайские компании в условиях санкций США готовы скупать любые вычислительные решения, которые позволят сократить отставание от западных конкурентов в сфере развития актуальных сейчас систем искусственного интеллекта.

Компания Intel на этой неделе провела пресс-конференцию в Пекине, где был анонсирован выход ускорителей вычислений Habana Gaudi2 на китайский рынок. Чтобы соответствовать требованиям американских правил экспортного контроля, версия Gaudi2 для китайских облачных провайдеров и производителей серверов будет модифицирована, сообщает DigiTimes.

Источник изображения: Intel

Компания NVIDIA ещё осенью прошлого года успела быстро перестроиться под требования американских санкций, начав поставки в Китай специально модифицированных ускорителей вычислений A800 и H800, обладающих усечённым быстродействием. По некоторым данным, Intel собирается последовать примеру NVIDIA и предложить клиентам в Китае, включая Inspur, New H3C и xFusion, адаптированные версии своих ускорителей.

Следует напомнить, что ускорители Gaudi2 в Европе и США начали предлагаться в мае прошлого года, ко второму полугодию Supermicro смогла построить на их основе серверную систему для обучения искусственного интеллекта. Программное обеспечение для этих ускорителей было недавно адаптировано под использование популярных сейчас больших языковых моделей (LLM).

На рынке Китая ускорители Habana Gaudi2 могут стать альтернативой решениям NVIDIA в ряде выполняемых задач, поскольку последняя из компаний не в силах сейчас угнаться за спросом на свою продукцию во всём мире, а в Китае ситуация ещё и усугубляется санкциями. Впрочем, за год присутствия этих ускорителей Intel на рынках США и Европы особого распространения они получить не успели, но в Китае именно санкции против продукции AMD и NVIDIA могут косвенно способствовать успеху изделий Intel. В линейке продукции этой компании ускорители Habana Gaudi2 лучше всего адаптированы под работу с большими языковыми моделями. К 2025 году Intel рассчитывает представить более конкурентоспособные ускорители вычислений с архитектурой, заимствованной у GPU.

Изначально основанная в 2016 году Habana была израильским стартапом, прежде чем в 2019 году её купила Intel. Китайские клиенты, как выясняется, успели познакомиться с разработками Habana ещё до этого момента, поэтому для них ускорители Gaudi2 не будут новинками в полном смысле.