В рамках конференции Hot Chips 34 компания AMD поделилась деталями о серверных ускорителях вычислений серии Instinct MI200 на базе чипов Aldebaran на архитектуре CDNA 2. Это первые GPU компании AMD, в составе которых применяется компоновка из нескольких кристаллов (чиплетов), также известная как MCM-компоновка.

Источник изображений: AMD

Одними из ключевых особенностей Instinct MI200 являются:

• архитектура CDNA 2 с матричными ядрами второго поколения для ускорения вычислений FP64 и FP32. Они до четырёх раз увеличивают производительность операций FP64 по сравнению с предыдущим поколением серверных ускорителей AMD;
• передовая технология упаковки 2.5D Elevated Fanout Bridge (EFB), позволяющая до 1,8 раза увеличить количество ядер и до 2,7 раза повысить пропускную способность памяти по сравнению с предыдущим поколением серверных GPU AMD, а также обеспечить пиковую пропускную способности памяти в 3,2 Тбайт/c;
• третье поколение шины AMD Infinity Fabric; поддержка до 8 линий Infinity Fabric, которые обеспечивают связь между несколькими самими AMD Instinct MI200, а также процессорами AMD EPYC, в том числе третьего поколения, что обеспечивает системе унифицированную память CPU/GPU и повышает максимальную пропускную способность.

В составе ускорителей AMD Instinct MI200 используется GPU с двумя кристаллами (чиплетами) — основным и второстепенным. Каждый кристалл содержит по 8 шейдерных движков, в каждом из которых находятся по 14 вычислительных блоков (Compute Units, CU) для операций FP64, FP32, а также матричные движки второго поколения для операций FP16 и BF16.

Таким образом на каждый кристалл приходятся по 112 вычислительных блоков или 7168 потоковых процессоров, а на весь GPU в целом — 224 CU или 14 336 потоковых процессоров. GPU производится с использованием 6-нм техпроцесса TSMC. В общей сложности в составе ускорителя присутствуют 58 млрд транзисторов.

Блок-схема AMD Instinct MI200 GPU

В составе чипа Aldebaran применяется скоростная шина xGMI. В составе каждого чиплета имеется движок VCN 2.6 и основной IO-контроллер, по четыре 1024-битных контроллера памяти HBM2e. На каждый чиплет также приходится по 8 Мбайт кеш-памяти L2, физически разделённой на 32 блока и по 64 Гбайт памяти HBM2e с пропускной способностью на уровне 1,6 Тбайт/с. Совокупный объём памяти HBM2e на GPU может достигать 128 Гбайт, а её пропускная способность составлять 3,2 Тбайт/с. Это на 1,2 Тбайт/с выше, чем у NVIDIA A100, оснащённой 80 Гбайт памяти HBM2e.

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_6-1480x833.png

Смотреть все изображения (9)

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_7-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_8-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_12-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_14-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_16-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_17-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_18-1480x833.png

AMD-CDNA-2-Instinct-MI200-Aldebaran-MCM-GPU-Hot-Chips-34_19-1480x833.png

Смотреть все
изображения (9)

AMD Aldebaran поддерживают 8 каналов Infinity Fabric. Один из них может использоваться для соединения CPU и GPU (по PCI Express). Оно рассчитано на согласованную передачу данных со скоростью 144 Гбайт/с. Показатель можно масштабировать до 500 Гбайт/с используя внешний канал Infinity Fabric с четырьмя подключёнными ускорителями AMD Instinct MI200 или с помощью PCIe 4.0 ESM AIC для пропускной способности на уровне 100 Гбайт/с.

Метрика производительности AMD Instinct MI200

AMD заявляет, что в зависимости от той или иной задачи Aldebaran может быть до трёх раз производительнее по сравнению с NVIDIA A100.

Ускорители вычислений AMD Instinct MI200 на архитектуре CNDA 2 уже используются в составе суперкомпьютера Frontier эксафлопсного уровня, возглавляющего рейтинг самых производительных суперкомпьютеров мира TOP500. Он обеспечивает производительность на уровне 1,1 эксафлопс.

AMD также сообщила о планах по выпуску нового поколения ускорителей вычислений Instinct MI300. В них тоже будет использоваться чиплетная компоновка, но это уже будут APU — на одной подложке будут сочетаться кристаллы CPU и GPU. Для Instinct MI300 заявляется использование архитектур CDNA 3 GPU и Zen 4 и до 5 раз более высокая производительность в ИИ-задачах по сравнению с архитектурой CDNA 2.

Компания AMD представила новейшее универсальное решение для серверов ЦОД — APU MI300 объединяет модули CPU и GPU в едином продукте и использует новейшую графическую архитектуру CDNA 3, позволяющую в разы увеличить производительность на ватт. В AMD заявляют, что новая модель впятеро производительнее, чем решения на архитектуре CDNA 2.

Источник изображения: AMD

В отличие от потребительских графических процессоров, новое решение AMD использует ядра, аналогичные применяемым NVIDIA тензорным вариантам. Это позволяет приблизительно вчетверо увеличить производительность на ватт, а архитектурные усовершенствования увеличивают этот показатель до 5Х. Впрочем, ещё предстоит определить реальную производительность в «полевых» условиях.

Помимо роста производительности и энергоэффективности, CDNA 3 предусматривает использование четвёртого поколения Infinity Fabric и нового поколения Infinity Cache. Как и ожидалось, CDNA 3 будет использовать 5-нм техпроцесс, предположительно TSMC N5 или N5P.

Архитектура CDNA 3 также помогает перейти с когерентной, отдельной кеш-памяти для CPU и GPU, используемой с CDNA 2, на унифицированную архитектуру. Это критически важное усовершенствование, поскольку в дата-центрах значительная часть энергии используется для передачи данных в пределах одной системы, а избавление от необходимости в избыточных копиях позволяет увеличить общую производительность.

Источник изображения: AMD

AMD Instinct MI300 объединяет в одной упаковке как GPU, так и CPU. В компании называют это первым APU для дата-центров. Примечательно, что компания не использовала термин APU с чипсетами серии Ryzen, оснащённых интегрированными графическими процессорами и, похоже, намерена вернуть в обиход термин, но уже с ядрами CPU на архитектуре Zen 4 и GPU с CDNA 3.

MI300 представляет собой передовое решение, объединяющее в одной упаковке CPU, GPU, кеш- и HMB-память. Судя по всему, речь идёт о четырёх чиплетах CPU/GPU в комбинации с HBM-памятью.

Вероятно, MI300 будет широко использоваться в суперкомпьютерах вроде El Capitan. В отличие от суперкомпьютера Frontier, применяющего процессоры Zen 3 EPYC Trento, в котором каждый 64-ядерный процессор связан с четырьмя GPU, решение El Capitan может состоять исключительно из APU MI300.

Источник изображения: AMD

По данным AMD, в результате MI300 обеспечит восьмикратный рост производительности обучения систем в сравнении с MI250X. Последний содержит пару графических вычислительных кристаллов (GCD) в одной упаковке, а MI300, вероятно, будет иметь три графических кристалла на CDNA 3, а также один кристалл CPU на архитектуре Zen 4. Такая комбинация сама по себе, предположительно, позволит увеличить графический потенциал на 50 %, даже без учёта архитектурных усовершенствований.