В конце этой рабочей недели южнокорейская компания SK hynix сообщила о подписании меморандума о взаимопонимании с тайваньской компанией TSMC в сфере сотрудничества в рамках производства памяти HBM следующего поколения, коей является HBM4. Корейская компания освоит её массовое производство в 2026 году, и это позволит ей сохранить лидерские позиции на этом рынке.

Источник изображения: SK hynix

По данным TrendForce, в этом году SK hynix сможет сохранить за собой 52,5 % рынка микросхем типа HBM, ещё 42,4 % достанутся Samsung Electronics, а Micron Technology будет довольствоваться оставшимися 5,1 %. В настоящее время SK hynix является крупнейшим поставщиком микросхем HBM3 для нужд Nvidia и собирается в ближайшие месяцы начать поставки более совершенной памяти типа HBM3E. Следующим этапом станет выпуск HBM4, который начнётся ориентировочно в 2026 году, и сейчас SK hynix пытается заручиться поддержкой TSMC в этом вопросе.

Дело в том, что TSMC остаётся единственной компанией, способной упаковывать память HBM и ускорители вычислений Nvidia по методу CoWoS, а потому SK hynix в эволюции своей памяти зависит от тайваньского партнёра. Из выделенных на текущий год капитальных затрат в диапазоне от $28 до $32 млрд компания TSMC намеревается до десяти процентов потратить на расширение мощностей по упаковке чипов и памяти. Именно их нехватка считается одной из причин дефицита ускорителей вычислений Nvidia для систем искусственного интеллекта. В прошлом году на долю HBM приходилось не более 8,4 % выручки в сегменте DRAM, но по итогам текущего эта доля вырастет до 20,1 %.

Стандарт HBM4, как ожидается, благодаря 2048-битному интерфейсу значительно увеличит пропускную способность памяти, что благотворно скажется на работе ИИ-ускорителей и компонентов высокопроизводительных вычислений (HPC). Но эта технология потребует многочисленных изменений в механизмах интеграции памяти, а значит, и более тесного сотрудничества между производителями памяти и производителями логики. Поэтому TSMC и SK hynix сформировали альянс для совместного производства HBM4.

Источник изображения: skhynix.com

Новая организация получила название AI Semiconductor Alliance — инициатива поможет TSMC и SK hynix объединить свои сильные стороны и согласовать действия по принципу «стратегии единой команды», пишет Maeil Business News Korea. TSMC возьмёт на себя проработку «некоторых процессов HBM4» — вероятно, имеется в виду выпуск кристаллов с использованием одной из своих передовых технологий, которых нет в арсенале SK hynix. По неподтвержденной информации, речь идёт о нормах 12 нм; ранее также стало известно, что SK hynix и NVIDIA работают над технологией, которая позволит размещать память HBM прямо на графических процессорах без подложки.

TSMC одновременно является членом сообщества 3DFabric Memory Alliance вместе со всеми тремя производителями HBM: Micron, Samsung и SK hynix. С последней тайваньский подрядчик также сотрудничает в области разработки упаковки CoWoS для HBM3 и HBM4, совместной оптимизации технологий проектирования (DTCO) HBM и даже чиплетного интерфейса UCIe для HBM. Тесное сотрудничество TSMC и SK hynix позволит гарантировать, что память HBM3E и HBM4 от SK hynix будет работать с чипами производства TSMC. Это важно, поскольку SK hynix лидирует на рынке HBM, а TSMC — крупнейший в мире полупроводниковый подрядчик.

Корейское издание обмолвилось, что альянс также направлен на создание «единого фронта против Samsung Electronics» — это конкурент одновременно и для TSMC, и для SK hynix, но, возможно, не стоит излишне доверять таким заявлениям. И правда, трудно представить, чтобы TSMC намеренно ограничила совместимость своей упаковки только продукцией SK hynix — вероятно, в действительности тайваньский подрядчик будет просто плотнее сотрудничать с SK hynix, чем с Samsung.

Южнокорейская компания SK hynix объявила, что приступит к массовому производству оперативной памяти с высокой пропускной способностью следующего поколения — HBM4 — к 2026 году. Ранее компания сообщила, что начнёт разработку HBM4 уже в этом году.

Источник изображения: Wccftech

До этого момента о планах по разработке и внедрению памяти HBM4 высказывались только компании Micron и Samsung. Оба производителя планируют выпустить новое поколение памяти где-то в 2025–2026 годах. Теперь и SK hynix более точно определилась с планом по своему будущему продукту. Со стремительным развитием ИИ-технологий на рынке возрастает спрос на более высокопроизводительные решения, необходимые для решения этих задач. Память типа HBM сыграла значительную роль в развитии этой сферы и является важным компонентом в производстве передовых специализированных ускорителей ИИ-вычислений. И на данный момент SK hynix является главным поставщиком самой скоростной HBM — памяти HBM3E — для ИИ-ускорителей.

На мероприятии SEMICON Korea 2024 вице-президент SK hynix Ким Чун Хван (Kim Chun-hwan) сообщил о намерении компании начать массовое производство памяти HBM4 к 2026 году. Он добавил, что новое поколение памяти будет способствовать стремительному росту рынка устройств для искусственного интеллекта. В то же время он отметил, что индустрия производства памяти HBM сталкивается с огромным спросом. Поэтому компании очень важно создать решения, которые позволили бы обеспечить бесперебойную поставку такого типа памяти. По мнению топ-менеджера SK hynix, к 2025 году рынок памяти HBM вырастет до 40 %, поэтому компании необходимо заранее подготовился к тому, чтобы извлечь из этого максимальную выгоду.

Источник изображения: TrendForce

Согласно недавно опубликованной аналитиками TrendForce сборной диаграммы с планами по выпуску продуктов различных производителей, организация JEDEC планирует принять окончательные характеристики памяти HBM4 во второй половине 2024 или начале 2025 года. Пока известно, что новая память будет выпускаться в стеках объёмом до 36 Гбайт, а первые образцы ожидаются в 2026 году.

На данный момент неизвестно, какие именно ИИ-ускорители будут использовать новый тип памяти. Предполагается, что одними из первых таких продуктов могут стать решения NVIDIA, которые компания выпустит после специализированных ИИ-ускорителей Blackwell, поскольку последние будут использовать память HBM3E.

Южнокорейская компания SK hynix в своём онлайн-блоге подтвердила, что приступит к разработке оперативной памяти с высокой пропускной способностью HBM4 уже в 2024 году. До этого момента о планах по разработке и внедрению памяти HBM4 высказывались только компании Micron и Samsung. Оба производителя планируют выпустить новое поколение памяти где-то в 2025–2026 годах.

Источник изображения: Wccftech

Говоря о памяти типа HBM, старший менеджер SK hynix Ким Ван Су (Kim Wang-soo) подчеркнул, что компания начнёт массовое производство памяти HBM3E — усовершенствованного варианта существующей памяти HBM3 — в 2024 году. Новая память будет предлагать повышенные скорости и ёмкость по сравнению с HBM3. Он добавил, что в следующем году SK hynix также планирует начать разработку своей памяти HBM4, что станет важным шагом в дальнейшей эволюции стека продуктов HBM производителя.

«Благодаря запланированному на следующий год массовому производству и продажам HBM3E наше доминирование на рынке снова усилится. Так как начало серьёзных работ по созданию нашего следующего продукта, HBM4, тоже запланировано на следующий год, SK hynix фактически вступит в новую эру продуктов HBM», — написал Ван Су.

С учётом того, что разработка HBM4 начнётся в 2024 году, первые продукты с данным типом памяти появятся на рынке не ранее 2025 или 2026 года. Согласно недавно опубликованной аналитиками TrendForce сборной карты дорожных продуктов от различных производителей, организация JEDEC планирует принять окончательные характеристики памяти HBM4 во второй половине 2024 или начале 2025 года. Пока известно, что она будет выпускаться в стеках объёмом до 36 Гбайт, а первые потребительские образцы ожидаются в 2026 году.

Источник изображения: TrendForce

На базе стеков памяти HBM4 объёмом 36 Гбайт можно будет создавать продукты, в частности, ускорители вычислений, оснащённые до 288 Гбайт ОЗУ. В перспективе планируются ещё более ёмкие чипы HBM4. Известно, что память HBM3E обладает скоростью до 9,8 Гбит/с на контакт, поэтому от HBM4 следует ожидать скорость выше 10 Гбит/с на контакт.

Будущие специализированные графические ускорители NVIDIA Blackwell, скорее всего, будут использовать память HBM3E, поэтому памятью HBM4 можно будет увидеть в ускорителях, которые NVIDIA представит уже после них. Также не исключено, что HBM4 может появиться в неких обновлённых ускорителях Blackwell, как это было в случае с текущим поколением ИИ-ускорителей Hopper H200, которые получили память HBM3E.

До сих пор единственным поставщиком микросхем HBM3 для нужд NVIDIA оставалась южнокорейская компания SK hynix, но в случае с HBM3e конкурирующая Micron Technology начала снабжать NVIDIA образцами своей продукции к концу июля, поэтому борьба за место на рынке в этом сегменте памяти будет ожесточённой. К 2026 году на рынок будет готова выйти память типа HBM4, которая годом позднее увеличит количество слоёв с 12 до 16 штук.

Источник изображения: SK hynix

Ближайшая перспектива в эволюции памяти типа HBM3e, как поясняет TrendForce — это выход 8-слойных микросхем, которые к первому кварталу следующего года должны пройти сертификацию NVIDIA и прочих клиентов, а затем перейти в фазу серийного производства. Micron Technology в этой сфере слегка опережает SK hynix, предоставив свои образцы для тестирования на пару недель раньше, а вот Samsung успела сделать это только к началу октября. Память типа HBM3e способна обеспечить скорость передачи информации от 8 до 9,2 Гбит/с, восьмислойные микросхемы объёмом 24 Гбайт будут выпускаться по техпроцессам класса 1-альфа (Samsung) или 1-бета (SK hynix и Micron). Их серийное производство к середине следующего года наладят все три компании, но две последних рассчитывают это сделать к началу второго квартала.

Во многом этот график будет определять ритмичность выхода новых ускорителей вычислений NVIDIA. В следующем году компания наладит поставки ускорителей H200 с шестью микросхемами HBM3e, до конца того же года выйдут ускорители B100 уже с восемью микросхемами HBM3e. Попутно будут выпускаться гибридные решения с центральными процессорами с Arm-совместимой архитектурой, именуемые GH200 и GB200.

Источник изображения: TrendForce

Конкурирующая компания AMD, по данным TrendForce, в 2024 году сосредоточится на использовании памяти типа HBM3 в семействе ускорителей Instinct MI300, а переход на HBM3e прибережёт для более поздних Instinct MI350. Тестирование памяти на совместимость в этом случае начнётся во второй половине 2024 года, а фактические поставки микросхем HBM3e для AMD стартуют не ранее первого квартала 2025 года.

Представленные во второй половине прошлого года ускорители Intel Habana Gaudi 2 ограничиваются использованием шести стеков HBM2e, преемники серии Gaudi 3 к середине следующего года увеличат количество стеков до 8 штук, но останутся верны использованию микросхем HBM2e.

Память типа HBM4 будет представлена только в 2026 году, она предложит использование 12-нм подложки, которая будет изготавливаться контрактными производителями. Количество слоёв в одном стеке памяти будет варьироваться между 12 и 16 штуками, причём микросхемы последнего типа появятся на рынке не ранее 2027 года. Впрочем, Samsung Electronics демонстрирует намерения представить HBM4 уже в 2025 году, наверстав упущенное по сравнению с предыдущими поколениями микросхем памяти этого класса.

В ближайшие годы сформируется и тренд на индивидуализацию дизайна решений с использованием памяти типа HBM. В частности, некоторые разработчики рассматривают возможность интеграции чипов такой памяти непосредственно на кристаллы с вычислительными ядрами. По крайней мере, NVIDIA подобные намерения уже приписываются, и именно в отношении микросхем типа HBM4.

Развитие сферы высокопроизводительных вычислений в наши дни стало зависеть от способности разработчиков специализированных ускорителей использовать самую скоростную из доступных на рынке разновидностей памяти. По некоторым данным, SK hynix и NVIDIA уже работают над интеграцией микросхем HBM4 прямо на графический процессор.

Источник изображения: SK hynix

Конечно, «графическим» такой процессор принято называть чисто по инерции, поскольку NVIDIA уже давно обособила линейки своей продукции для ускорения вычислений и работы с графикой. Использование памяти типа HBM стало атрибутом первого типа продукции NVIDIA. В случае с актуальным ассортиментом ускорителей последней из марок южнокорейская SK hynix изначально была единственным поставщиком памяти типа HBM3, поскольку только её продукция отвечала строжайшим требованиям NVIDIA как с точки зрения производительности, так и возможности интеграции в процессе производства.

Сейчас микросхемы HBM3 и HBM3e соседствуют с графическим процессором на одной подложке, сама память при этом может насчитывать до 12 ярусов. Как сообщает Tom’s Hardware со ссылкой на южнокорейские СМИ, компании NVIDIA и SK hynix уже ведут разработку технологии интеграции микросхем памяти HBM4 прямо поверх кристалла графического процессора. Подобная близость двух типов этих компонентов позволит значительно повысить скорость обмена информацией, но будет предъявлять особые требования не только к производственному процессу, но и к охлаждению компонентов.

Скорее всего, SK hynix будет передавать свои микросхемы HBM4 компании TSMC, которая попутно будет производить и графические процессоры NVIDIA, а затем этот тайваньский подрядчик будет и «сращивать» эти кристаллы без использования промежуточной подложки. Отдалённо эта технология напоминает производство процессоров AMD Ryzen с памятью типа 3D V-Cache, интегрируемой прямо на кристалл с вычислительными ядрами. Просто память HBM4 окажется несколько медленнее, но дешевле используемого AMD кеша, и при этом предложит гораздо большую ёмкость. Память HBM4 должна увеличить разрядность шины памяти с 1024 до 2048 бит, что дополнительно увеличивает целесообразность отказа от промежуточной подложки, поскольку она выходила бы слишком дорогой в производстве.

Существенную проблему будет представлять охлаждение такой конструкции, поскольку графические процессоры и без памяти становятся всё более горячими, да и микросхемы HBM4 тоже придётся охлаждать интенсивно, и при этом оба типа компонентов расположатся друг на друге. Впрочем, в серверном сегменте как раз применение продвинутых методов охлаждения с использованием жидкости или погружением в диэлектрическую жидкость всего ускорителя оправдывает себя с точки зрения экономической целесообразности и сложности. Не исключено также, что микросхемы HBM4 и связанные с ними графические процессоры будут производиться если не по одному и тому же техпроцессу, то хотя бы по близким технологическим нормам. С этой точки зрения требования к производственному процессу станут почти идентичными как для логической части ускорителей, так и для памяти.

В 2016 году корейская компания Samsung Electronics первой в отрасли выпустила на рынок микросхемы памяти HBM первого поколения для применения в сегменте высокопроизводительных вычислений. Через год появилась 8-слойная память типа HBM2, позже вышли микросхемы HBM2E и HBM3, а память типа HBM4 компания рассчитывает представить в 2025 году.

Источник изображения: Samsung Electronics

Как сообщается в корпоративном блоге компании, при выпуске микросхем типа HBM4 будут применяться инновации, направленные на улучшение термодинамических свойств этого вида продукции — проще говоря, будут применены решения для лучшего отвода тепла. При сборке стеков памяти будет применяться непроводящая полимерная плёнка, дополнительно механически защищающая монтируемые друг на друга чипы. Метод гибридного медного соединения будет сочетать медные проводники с плёночным оксидным изолятором вместо традиционного припоя.

Кроме того, как признаются представители Samsung Electronics, в начале 2023 года компания создала подразделение, курирующее передовые методы упаковки чипов. Своим клиентам южнокорейский гигант будет готов предложить услуги по тестированию и упаковке чипов с использованием методов 2.5D и 3D, которые могут быть востребованы разработчиками компонентов для высокопроизводительных вычислений и систем искусственного интеллекта.

К числу своих технологических достижений Samsung также относит выпуск микросхем оперативной памяти типа DDR5, позволяющих создавать модули памяти объёмом 128 Гбайт, а также освоение 12-нм техпроцесса в данной сфере. В дальнейшем компания рассчитывает использовать для выпуска микросхем памяти литографические нормы тоньше 10 нм.

В сфере высокопроизводительных вычислений может найти достойное применение и технология HBM-PIM, предусматривающая выполнение определённой части вычислений непосредственно силами самой микросхемы памяти. Быстродействие при этом удаётся повысить до 12 раз по сравнению с традиционной архитектурой микросхем памяти. Помимо HBM, такая архитектура будет внедряться и на микросхемах памяти, работающих с протоколом CXL.

Представленные недавно модули оперативной памяти LPCAMM, по словам представителей Samsung, можно будет применять не только в ноутбуках, но и в серверных системах, где их высокая плотность позволит увеличить объём используемой оперативной памяти без дополнительной потребности в занимаемых площадях. Такие модули памяти будет занимать на 60 % меньше места по сравнению с SO-DIMM, а производительность при этом вырастает на величину до 50 %. Энергетическая эффективность таких модулей памяти выше на 70 %.