Из-за стремительного роста спроса на аппаратное обеспечение, необходимое для обучения и развёртывания технологий искусственного интеллекта, передовые ускорители вычислений NVIDIA H100 продаются на торговой онлайн-площадке eBay более чем за $40 тыс.

Источник изображения: NVIDIA

На ситуацию обратил внимание пионер игровой индустрии и бывший технологический консультант компании Meta✴ Джон Кармак (John Carmack). В пятницу как минимум восемь ускорителей NVIDIA H100 предлагалась продавцами на eBay по ценам от $39,995 до почти $46 000. Немного ранее некоторые продавцы отпускали их по $36 000 за штуку.

Источник изображения: eBay

Флагманский ускоритель вычислений H100, являющийся наследником модели A100 стоимостью $10 тыс., был представлен NVIDIA в прошлом году.

Разработчики используют H100 для создания так называемых языковых моделей (LLM), являющихся основной для таких ИИ-приложений, как чат-бот ChatGPT от компании OpenAI. Это очень дорогие и энергозатратные системы, способные всего за несколько дней или недель обрабатывать терабайты информации, необходимой для обучения ИИ.

Процесс обучения ИИ-моделей, особенно таких больших как GPT, требует одновременной работы сотен передовых ускорителей NVIDIA. Та же компания Microsoft потратила сотни миллионов долларов на закупку десятков тысяч ускорителей NVIDIA A100 предыдущего поколения, на базе которых проводилось обучение чат-бота ChatGPT для OpenAI.

В ассортименте компании NVIDIA также есть готовые суперкомьютеры DGX, в состав которых входят сразу по восемь ускорителей вычислений. В этом году компания запустила облачный сервис DGX Cloud, позволяющий арендовать доступ к системам DGX A100 за $37 тыс. в месяц.

Компания AMD анонсировала профессиональные видеокарты нового поколения Radeon Pro W7900 и Radeon Pro W7800, которые предназначены для мощных рабочих станций, ориентированных главным образом на работу с графикой. Обе новинки используют новейшую графическую архитектуру RDNA 3.

Источник изображений: VideoCardz

В основе AMD Radeon Pro W7900 используется графический процессор Navi 31 с 96 вычислительными блоками и соответственно 6144 потоковыми процессорами. Такой же GPU установлен во флагманскую настольную игровую видеокарту Radeon RX 7900 XTX. Однако Radeon Pro W7900 получила вдвое больше памяти GDDR6 — 48 Гбайт, да ещё и с функцией коррекции ошибок ECC. Память подключена по шине 384 бит. Заявленное энергопотребление новинки составляет 295 Вт. Для Radeon Pro W7900 указывается производительность в операциях FP32 на уровне 61 Тфлопс. Ускоритель оснащён массивной трёхслотовой системой охлаждения с вентилятором тангенциального типа.

Видеокарта Radeon Pro W7800 получила графический процессор с 70 вычислительными блоками (4480 потоковых процессоров). Конкретная модель чипа не указывается. Объем видеопамяти GDDR6 с ECC составляет 32 Гбайт. Поддерживается шина памяти разрядностью 256 бит. Производительность в вычислениях FP32 составляет 45 Тфлопс. Показатель энергопотребления равен 260 Вт. Новинка тоже оснащена активной системой охлаждения, но более компактного размера.

В отличие от профессиональных видеокарт NVIDIA RTX Ada Lovelace, в продуктах AMD присутствует видеовыход DisplayPort 2.1 c пропускной способностью до 80 Гбит/c. Для новинок также заявляется наличие аппаратного ускорителя кодирования и декодирования AV1 с поддержкой формата 8K60.

Стоимость Radeon Pro W7900 составляет $3999. Модель Radeon Pro W7800 оценили в $2499. Дату начала продаж профессиональных графических ускорителей компания не сообщила.

Компания Intel отменила выпуск серверных ускорителей вычислений Data Center GPU Max 1350 серии Ponte Vecchio в рамках продолжающегося процесса реструктуризации своего графического подразделения. Ранее производитель отказался от выпуска ускорителей серии Rialto Bridge, которые должны были прийти на смену Ponte Vecchio. Их выпуск был намечен на текущий год.

Источник изображения: Intel

Ускорители Data Center GPU Max 1350 должны были выпускаться в виде OAM-модулей с TDP 450 Вт. Они должны были предложить 112 ядер Xe и 96 Гбайт памяти HBM2e. Их характеристики по-прежнему значатся на официальном сайте Intel, однако переход по ссылке на продукт ведёт на пустую страницу. То, что выпуск данных ускорителей был отменён, представители Intel подтвердили сайту Tom’s Hardware.

Компания объяснила, что выпустила более производительные ускорители Data Center GPU Max 1550, оснастив их воздушной системой охлаждения, хотя изначально планировался выпуск этих решений с системой жидкостного охлаждения. В результате выпуск Data Center GPU Max 1350 для серверов с воздушным охлаждением показался компании более неактуальным. Вместо них Intel выпустит ускорители Max 1450. Их запуск ожидается в текущем году.

«Мы выпустили ускорители Intel Data Center Max GPU 1550 с TDP 600 Вт, которые изначально предполагалось выпускать для систем с СЖО. С тех пор мы расширили поддержку и предложили ускорители Intel Data Center Max GPU 1550 для систем с воздушным охлаждением. На фоне этого было принято решение отказаться от выпуска моделей Intel Data Center Max GPU 1350 с TDP 450, которые должны были выпускаться для решений с воздушным охлаждением. Вместо них в текущем году мы представим модели Data Center GPU Max 1450. Они предложат меньшую пропускную способность в операциях ввода-вывода, будут предназначены для других рынков и будут рассчитаны на использование с воздушными и жидкостными системами охлаждения. Наш ассортимент [ускорителей для ЦОД] также будет расширен моделями Data Center GPU Max 1100 с TDP 300 Вт», — рассказал представитель Intel в разговоре с Tom’s Hardware.

Характеристики будущих ускорителей Data Center GPU Max 1450 компания пока не сообщает.

Глава графического подразделения AXG компании Intel Раджа Кодури (Raja Koduri) покинет компанию до конца марта. Об этом стало известно из заявления гендиректора Intel Патрика «Пэт» Гелсингера (Patrick Gelsinger). Сам Кодури подтвердил свой уход из компании на своей странице в Twitter.

Источник изображения: Intel

В рамках реорганизации компании Intel решила попрощаться с Раджой Кодури, занимавшим пост исполнительного вице-президента и главного архитектора графики, а также руководителя отдела AXG. По словам гендиректора Intel Патрика Гелсингера, Кодури покинет Intel до конца текущего месяца.

До своего прихода в Intel Кодури долгое время работал в AMD, а до этого в Apple. Он возглавлял графическое подразделение AMD Radeon Technologies Group и, в частности, отвечал за разработку таких графических архитектур, как AMD Polaris и Vega. Вскоре после выхода видеокарт серии Vega на рынок Кодури объявил о своём решении присоединиться к Intel, где он в конечном итоге занял должность исполнительного вице-президента отдела AXG, отвечающего за разработку графики. В декабре прошлого года Intel расформировала это подразделение, а Кодури вернули на роль главного архитектора графических технологий Intel.

«Спасибо, Пэт и Intel за множество незабываемых воспоминаний и невероятные познания, полученные за последние пять лет. Начинается новая глава в моей жизни — занимаюсь открытием стартапа по разработке программного обеспечения. Новости будут скоро», — написал Кодури на своей странице в Twitter.

Под руководством Кодури Intel разработала графическую архитектуру Xe и применила её не только во встроенных GPU, но также выпустила настольные и мобильные дискретные видеокарты Arc Alchemist на данной архитектуре. И хотя выпуск графических ускорителей задержался на несколько месяцев, Intel опровергла слухи о потенциальном закрытии разработки дискретной графики. Компания по-прежнему уверена в намеченном плане по выпуску новых продуктов и ведёт разработку нового поколения видеокарт Arc Battlemage.

Глава Intel по поводу ухода Кодури написал следующее: «Спасибо за ваш большой вклад в технологии и архитектуру Intel, особенно в высокопроизводительную графику, который помог вывести на рынок три новые линейки продуктов в 2022-м году. Желаем вам успехов в создании новой компании по разработке программного обеспечения вокруг генеративного ИИ для игр, медиа и развлечений».

Судя по всему, Кодури будет заниматься разработкой программного обеспечения, связанного с генеративными нейросетями, и их применением для игр, медиа и развлечений.

NVIDIA сообщила, что компании ASML, TSMC и Synopsys берут на вооружение только что представленную библиотеку cuLitho. Инструмент встраивается в программное обеспечение по проектированию фотошаблонов, применяемых в производстве чипов, и многократно ускоряет работы по подготовке литографических фотомасок. Недели тяжелейших вычислительных нагрузок выполняются за 8 часов на кластере из GPU NVIDIA. Это путь в будущее полупроводниковой литографии, уверены в компании.

Пример современного фотошаблона (фотомаски). Источник изображений: Intel

В NVIDIA заявляют, что работа cuLitho на GPU обеспечивает скачок производительности до 40 раз по сравнению с текущим программным обеспечением. Если представить, что во всём мире фотомаски проектируют множество заводов и дизайн-центров, то это десятки миллиардов часов процессорной нагрузки в год. Это мегаватты и мегаватты энергии, от сжигания которых NVIDIA мечтает уберечь полупроводниковую индустрию.

По подсчётам компании, 500 блоков NVIDIA DGX H100 выполнят ту же работу, что и 40 тыс. центральных процессоров. Это не только снизит углеродный след, но и поможет ежедневно производить в 3–5 раз больше фотомасок используя в 9 раз меньше энергии по сравнению с текущими конфигурациями. Фотомаска, на изготовление которой требовалось две недели, теперь может быть обработана за одну ночь.

«Индустрия чипов является основой почти всех других отраслей в мире, — сказал Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA. — Поскольку литография находится на пределе физических возможностей, внедрение NVIDIA cuLitho и сотрудничество с нашими партнерами TSMC, ASML и Synopsys позволяет фабрикам увеличить производительность, снизить углеродный след и заложить основу для 2-нм и последующих технологий».

Как пояснили на пресс-конференции вице-президент группы передовых технологий NVIDIA Вивек Сингх (Vivek Singh), cuLitho будет работать не только на самой новейшей архитектуре NVIDIA Hopper, но также на более старых GPU компании, начиная с архитектуры Volta образца 2017 года.

Проектирование фотошаблонов давно перестало быть тривиальной задачей. Сегодня для каждого слоя чипа может потребоваться несколько десятков фотошаблонов и это не просто геометрически выверенный рисунок. Чтобы деталь на кремнии получилась как можно меньше и с чётко очерченными краями используются различные трюки со светом и проекцией, когда в игру вступает не только свет, но и тень, и искажения, и перекрёстные затемнения и много чего ещё. Фотошаблон стал искусством, которое перестало быть по плечу человеку.

Как уточняют в NVIDIA, компании ASML и Synopsys заняты интеграцией библиотеки cuLitho в своё программное обеспечение. Компания TSMС, как пояснил Дженсен Хуанг начнёт тестировать ПО на производственном оборудовании в июне этого года.

Насколько можно понять из выступления Хуанга, библиотека cuLitho пока не использует ИИ-алгоритмов. Но можно не сомневаться, что со временем ИИ в полный рост будет использоваться при подготовке чипов к производству. Машинное обучение уже используется при проектировании чипов, о чём некоторое время назад рассказали в компании Google. Компания NVIDIA предлагая индустрии библиотеку cuLitho делает несомненно благое дело. При этом она глубоко встраивает себя в цепочку производства и поставки чипов. И чем дальше, тем сильнее будет эта зависимость, как сегодня мир передовых чипов зависит только от одной компании — нидерландской ASML

Вице-президент Intel и глава подразделения Super Compute Group Джефф Маквей (Jeff McVeigh) сообщил, что компания переходит на двухлетний график выпуска графических процессоров для ЦОД, а ускорители серии Rialto Bridge вообще на рынок не выйдут. Таким образом, новой серией графики Max для ЦОД станут ускорители Falcon Shores, но в производство они поступят в 2025 году, то есть на год позже, чем планировалось ранее.

Источник изображений: Intel

Первоначально предполагалось, что ориентированные на высокопроизводительный сегмент Falcon Shores XPU, сочетающие центральный и графический процессоры, выйдут в 2024 году, теперь же срок их выхода перенесён на 2025 год, и дебютируют они как графические компоненты. Intel также отменила выпуск графики Lancaster Sound в рамках Flex Series — она предназначалась для менее интенсивных задач, таких как кодирование медиафайлов. Её заменят продукты нового поколения Melville Sound.

В компании отметили, что новый график согласуется с ожиданиями клиентов в отношении графики для ЦОД, и в целом он соответствует схеме конкурирующих производителей, включая NVIDIA. Решения были приняты после реорганизации графического подразделения AXG, направленной на разделение продуктов для игр и ЦОД. Intel также заявила, что теперь будет уделять больше внимания программному направлению — обновления для ускорителей серий Max и Flex станут выходить чаще, и они будут включать механизмы повышения производительности, новые возможности и поддержку большего числа операционных систем.

Чипы Intel Falcon Shores XPU являются прямыми конкурентами NVIDIA Grace Hopper Superchips и AMD Instinct MI300 Data Center APU. Продукты от NVIDIA и AMD сочетают ядра CPU и GPU и память HBM — это новый тип архитектуры, предлагающий значительные преимущества при работе в сегменте высокопроизводительных вычислений, и ему трудно что-то противопоставить из существующих компонентов. Тем не менее, перенесённые на год продукты серии Falcon Shores выйдут сначала в виде графических процессоров, и в компании не сообщили, когда появится версия с CPU — Intel будет отставать от NVIDIA и AMD более чем на год, предлагая в сегменте высокопроизводительных вычислений процессоры Xeon и графику Ponte Vecchio.

Falcon Shores — продукт на основе гетерогенной архитектуры, направленной на достижение целого ряда целей: пятикратного прироста производительности на ватт, пятикратного прироста плотности вычислений в сокете x86, а также пятикратных увеличения объёма памяти и пропускной способности у серверных чипов. Дорожная карта Intel по направлениям CPU и GPU в сегменте высокопроизводительных совпадает с планом развития Falcon Shores — эти чипы будут выполнять обе роли. Компания сможет предлагать клиентам центральные, графические и гибридные процессоры в зависимости от потребностей, а выпускаться они будут, вероятно, по нормам Intel 20A, хотя этот момент производитель не уточнил.

Ускорители Intel Rialto Bridge должны были последовать за существующими Ponte Vecchio уже в этом году, но с отменой первых последние оказываются единственным, что компания может противопоставить NVIDIA Hopper H100. И это может показаться неосмотрительным в эпоху интенсивного развития больших языковых моделей ИИ вроде ChatGPT, которые становятся чрезвычайно популярными и привлекают многомиллиардные инвестиции. Впрочем, и Rialto Bridge едва ли смогли бы конкурировать с чрезвычайно мощными NVIDIA Hopper H100: существующие Ponte Vecchio предлагают 128 ядер Xe при пиковом энергопотреблении 600 Вт; тогда как Rialto Bridge должны были предложить до 160 ядер Xe, прирост производительности до 30 % и пиковую мощность до 800 Вт. По основным признакам, речь идёт о не слишком значительных эволюционных изменениях.

В Intel также сообщили, что работа над чипами серии Xeon идёт в соответствии с графиком, как и обновление технологических узлов. Однако оптимизированные для гиперскейлеров процессоры серии Sierra Forest появятся лишь в 2024 году, на год позже AMD Bergamo, то есть лагерь «синих» будет отставать от конкурента и в этой дисциплине.

Компания Intel сообщила о выпуске серверных процессоров Xeon Scalable четвёртого поколения, известных под кодовым именем Sapphire Rapids. Они будут доступны как в обычных версиях, а также в вариантах Xeon Max с набортной памятью HBM2e. Кроме того, производитель сообщил о выпуске серверных ускорителей вычислений Data Center GPU Max с кодовым именем Ponte Vecchio.

Источник изображений: Intel

Портфолио компании Intel пополнилось 52 серверными процессорами Xeon Scalable четвёртого поколения. В отличие от конкурентов в лице чипов EPYC Genoa от AMD, предлагающих до 96 вычислительных ядер, новинки Intel готовы предложить только до 60 физических ядер. Однако увеличение количества ядер Xeon Scalable четвёртого поколения на фоне Xeon Scalable третьего поколения (Ice Lake) привело к повышению на 53 % вычислительной производительности, утверждает Intel.

Одной из ключевых особенностей Sapphire Rapids являются cпециальные аппаратные блоки, предназначенные для ускорения выполнения конкретных типов задач, например, передачи данных, сжатия, шифрования, анализа данных и т.д. Компания называет их «ускорителями».

По словам Intel, в среднем производительность на ватт потребляемой энергии у Sapphire Rapids выросла до 2,9 раз по сравнению с предшественниками; в задачах, связанных с ИИ, быстродействие увеличено до 10 раз; а в нагрузках, связанных с аналитической работой, производительность увеличена втрое.

Для Xeon Sapphire Rapids, построенных на техпроцессе Intel 7, в числе прочего заявлена поддержка интерфейса PCIe 5.0, оперативной памяти DDR5-4000, DDR5-4400 и DDR5-4800 и шины CXL 1.1.

Как уже отмечалось выше, серия процессоров Xeon Scalable четвёртого поколения представлена 52 моделями. Часть из них предназначена для общих вычислительных нагрузок, часть моделей являются специализированными и предназначены для использования с системами жидкостного охлаждения, другие модели могут использоваться в сетевых инфраструктурах, HPC, базах данных и облачных вычислениях. Процессоры Sapphire Rapids представлены моделями Max, Platinum, Gold, Silver и Bronze с разным количеством ядер.

Для новинок заявлена поддержка инструкций AVX-512, Deep Leaning Boost (DLBoost) и Advanced Matrix Extensions (AMX). Последние значительно повышают производительность процессоров в задачах, связанных с работой ИИ-алгоритмов и машинного обучения.

Как и прежде, Xeon Scalable четвёртого поколения поддерживают конфигурацию систем с одним, двумя, четырьмя и восемью процессорными разъёмами. К слову, те же процессоры AMD Genoa масштабируются только на два сокета. Однако решения конкурента предлагают поддержку большего числа линий PCIe 5.0 — до 128. Процессоры Intel в свою очередь поддерживают до 80 линий нового интерфейса.

Источник изображения: Tom's Hardware

Производитель отмечает, что Xeon Scalable четвёртого поколения поддерживают установку до 1,5 Тбайт восьмиканальной памяти DDR5-4800 на один процессорный разъём. Те же AMD Genoa предлагают установку до 6 Тбайт ОЗУ DDR5-4800 на 12 каналов. Чипы Intel поддерживают установку двух модулей ОЗУ DDR5-4400 на один канал.

Цены на новые процессоры Intel Xeon Scalable четвёртого поколения варьируются от $415 за восьмиядерный Xeon Scalable Bronze 3408U с частотой до 1,9 ГГц, 22,5 Мбайт кеш-памяти L3 и TDP на уровне 125 Вт, до $17 000 за 60-ядерную модель Xeon Scalable Platinum 8490H с поддержкой 120 виртуальных потоков, оснащённую 112,5 Мбайт кеш-памяти L3 и TDP 350 Вт. Для сравнения, AMD Genoa обладают схожим показателем энергопотребления на уровне 360 Вт. Правда, речь в данном случае идёт о 96-ядерной модели процессора.

Цены на процессоры зависят не только от количества ядер в них, но также и от количества тех самых активных аппаратных блоков ускорения вычислений для определённых типов задач, о которых говорилось выше. Покупатели могут выбирать нужные модели процессоров в зависимости от своих потребностей, а при необходимости через лицензионное соглашение Intel On Demand активировать недостающие блоки ускорения. Цены на последние компания пока не сообщает. Однако услуга по их приобретению будет доступна, например, через OEM-сборщиков серверных систем, а активация — через софт и программы лицензий.

Вся идея с активацией блоков ускорения вычислительных операций сводится к тому, что покупатель при изначальной покупке той или иной модели процессора Xeon Scalable четвёртого поколения будет платить только за те блоки ускорения, которые ему необходимы конкретно сейчас и не переплачивать за дополнительные ненужные функции процессора. Но при необходимости сможет оплатить нужные функции.

Сами аппаратные блоки ускорения процессоров Sapphire Rapids делятся на четыре вида:

• Data Streaming Accelerator (DSA) — улучшает производительность при перемещении данных, разгружая обычные вычислительные блоки CPU от операций копирования и преобразования данных;
• Dynamic Load Balancer (DLB) — предназначен для приоритезации пакетов и динамического баланса перераспределения сетевого трафика между ядрами CPU при колебаниях нагрузки системы;
• In-Memory Analytics Accelerator (IAA) — ускоряет задачи по аналитике и разгружает ядра CPU, тем самым повышая скорость запросов к базе данным и другим функциям;
• Quick Assist Technology (QAT) — ускоряет задачи по криптографии, компрессии/декомпрессии. Ранее этот аппаратный блок ускорения являлся частью чипсета. Intel давно его использует и он имеет широкую программную поддержку.

Процессоры серии Xeon Max компания Intel представила ещё осенью прошлого года. Это Sapphire Rapids, оснащённые наборной памятью HBM2e объёмом 64 Гбайт. Чипы данной серии предлагают от 32 до 56 вычислительных ядер с поддержкой до 112 виртуальных потоков и обладают TDP 350 Вт.

Эти процессоры предназначены для использования в задачах по гидродинамике, прогнозирования климата и погоды, обучения ИИ и нейронных сетей, аналитики больших данных, для резидентных баз данных и т.д.

Ключевыми особенностями процессоров серии Xeon Max являются поддержка интерфейсов PCIe 5.0 и CXL 1.1. Память HBM2e может использоваться как в качестве дополнительного кеша, так и в качестве дополнительной оперативной памяти. Кроме того, сервер с Xeon Max можно вообще не оснащать модулями оперативной памяти — система будет полагаться исключительно на HBM. Основными конкурентами Intel Xeon Max станут процессоры AMD EPYC Milan-X с технологией увеличения кеш-памяти 3D V-Cache.

Вместе с процессорами Intel Xeon Scalable четвёртого поколения включая модели Sapphire Rapids HBM производитель формально объявил о доступности новых ускорителях вычислений Data Center GPU Max с кодовым названием Ponte Vecchio. Они также были представлены ещё несколько месяцев назад.

Данные ускорители будут выпускаться, как в формате обычных карт расширения PCIe, так и в виде OAM-модулей. Intel заявляет, что они до 2,4 раза быстрее ускорителей NVIDIA A100. Более подробно о Data Center GPU Max можно почитать в нашей предыдущей статье.

Intel сообщила о реорганизации своего отдела графических ускорителей Accelerated Computing Systems and Graphics (AXG). Компания разобьёт его на две группы: одна будет заниматься игровой графикой, другая — технологиями для дата-центров. Эти группы станут частью двух других бизнес-подразделений компании. Занимающего в настоящий момент пост исполнительного вице-президента AXG Раджу Кодури (Raja Koduri) вернут на прежнюю должность главного архитектора графики Intel.

Источник изображения: Intel

Раджа Кодури, присоединившийся к Intel в 2017 году после своего ухода из AMD, занял место главы архитектурного направления графики Intel. В прошлом году Кодури возглавил группу AXG, занимающуюся разработкой ускорителей. После реорганизации AXG Кодури вернётся к роли главного архитектора графики Intel. Он будет заниматься вопросами разработки высокотехнологичных программ с прицелом на интеграцию новых графических, процессорных и ИИ-архитектур.

Часть группы AXG, занимающаяся разработками потребительских графических продуктов Intel, вольётся в состав отдела Client Compute Group (CCG). Он отвечает за разработку технологий потребительских платформ и процессоров компании. Потребительский отдел AXG возглавит Лиза Пирс (Lisa Pearce) — ныне руководитель отдела по разработке программного обеспечения и драйверов для графики Intel. Непосредственным руководителем Пирс будет Мишель Джонстон Холтхаус (Michelle Johnston Holthaus), нынешняя глава CCG.

Часть отдела AXG, занимающаяся графическими технологиями для дата-центров (ускорители Ponte Vecchio, Rialto Bridge и т.д.), вольётся в состав подразделения Intel Datacenter and AI Group (DCAI), которое отвечает за решения для ЦОД и платформы ИИ. Команды разработчиков GPU SoC и IP также окажутся под руководством отдела DCAI, однако они также будут сотрудничать с командой клиентской графики. Временным главой данного отдела AXG станет руководитель направления Super Compute Group Джефф Маквей (Jeff McVeigh). Его непосредственным руководителем будет Сандра Ривера (Sandra Rivera), глава DCAI.