Для сегмента ускорителей вычислений, используемых в составе систем искусственного интеллекта, способность TSMC упаковывать достаточное количество чипов методом CoWoS имеет огромное значение, поскольку в случае с производством решений Nvidia остаётся «узким местом». Тайваньский производитель намерен активно расширять профильные мощности не только в следующем, но и в 2026 году.

Источник изображения: TSMC

По крайней мере, генеральный директор и председатель совета директоров TSMC Си-Си Вэй (C.C. Wei) пояснил, что в текущем году способности компании по упаковке чипов методом CoWoS вырастут более чем в два раза по сравнению с прошлым годом, и в следующем могут также удвоиться. Не исключено, по словам главы компании, что даже таких темпов экспансии не хватит для удовлетворения спроса на профильные услуги TSMC.

Если говорить об экономике процесса, то сейчас TSMC получает не более 10 % выручки от оказания услуг по упаковке чипов, и в ближайшие пять лет данный сегмент будет расти быстрее прочих направлений деятельности компании. Пока ему не удаётся по норме прибыли достичь средних по всем сегментам показателей, но разница уже не так велика. Свою долю на мировом рынке услуг по упаковке чипов TSMC оценивает примерно в 30 %.

По информации Money DJ, компания TSMC уже разместила заказы на оборудование, которое ей потребуется для упаковки чипов, сроком до 2026 года включительно. Если к концу текущего года TSMC сможет ежемесячно обрабатывать по 40 000 кремниевых пластин в эквивалентном выражении на направлении упаковки чипов методом CoWoS, то в следующем году объём удвоится до 80 000 штук в месяц. К 2026 году темпы экспансии могут замедлиться, расположившись в диапазоне от 100 до 120 тысяч пластин в месяц. Однако, при наличии спроса эти показатели легко могут вырасти до 140 или 150 тысяч пластин в месяц.

На минувшем квартальном отчётном мероприятии Intel на передний план вышли другие проблемы компании, но до этого руководство регулярно давало понять, что компания готова упаковывать чипы по заказам сторонних клиентов. Тайваньские СМИ теперь сообщают, что в условиях дефицита профильных мощностей TSMC к возможности сотрудничества с Intel присматривается Nvidia.

Источник изображения: Nvidia

В мае прошлого года, напомним, основатель Nvidia Дженсен Хуанг (Jensen Huang) похвалил современные техпроцессы Intel, а разговоры о возможности сотрудничества компаний начались ещё за год до того. Впрочем, новые слухи указывают на интерес Nvidia к услугам Intel именно в сфере упаковки чипов с использованием продвинутых методов. Компания TSMC обладает монопольным правом на использование упаковки CoWoS, которая нужна для выпуска ускорителей вычислений Nvidia актуальных поколений, но технологически этот метод очень близок к тем, что использует Intel. Соответственно, как полагают источники, после некоторой адаптации Intel могла бы наладить упаковку и тестирование чипов Nvidia для ускорителей вычислений.

В целом, интерес к подобным услугам Intel проявляют Qualcomm, Microsoft, Cisco и AWS (Amazon). Представители Intel не раз говорили, что в этой сфере контракты с клиентами начинают приносить выручку гораздо быстрее, чем в сфере обработки кремниевых пластин, поэтому в развитии этого направления бизнеса процессорный гигант сильно заинтересован. По слухам, Intel уже получила от Microsoft заказ на производство чипов по технологии Intel 18A на сумму $15 млрд.

В плане своей способности поставлять клиентам ускорители вычислений Nvidia зависит от TSMC не только с точки зрения обработки кремниевых пластин, но и на этапе компоновки чипов с использованием уникального метода пространственной упаковки CoWoS. Попытки руководства первой из компаний получить для этих нужд выделенные производственные мощности TSMC не увенчались успехом, если верить слухам.

Источник изображения: Nvidia

Данную информацию публикует ресурс Mirror Media, ссылаясь на подробности о программе визита основателя Nvidia Дженсена Хуанга (Jensen Huang) на Тайвань в июне этого года. По данным источников, тогда у него состоялась встреча не только с отошедшим от дел основателем TSMC Моррисом Чаном (Morris Chang), но и действующим руководителем компании Си-Си Вэем (C.C. Wei). Глава Nvidia в тот момент, если верить слухам, попросил у TSMC выделить под нужды его компании отдельную производственную линию, на которой будут упаковываться ИИ-чипы этой марки, но получил отказ от представителей тайваньского подрядчика. Исход переговоров создал некоторую напряжённость в отношениях между компаниями, как отмечают источники, но нынешний председатель совета директоров Си-Си Вэй сделал всё возможное, чтобы загладить последствия.

На недавней квартальной конференции руководство TSMC признало, что компания не сможет удовлетворить спрос на выпуск компонентов для систем искусственного интеллекта как минимум до 2026 года. При этом тайваньский производитель до сих пор не может найти баланс спроса и предложения, но старается рационально определять размер необходимых капитальных затрат. По всей видимости, вложения в производственную линию для упаковки чипов Nvidia на данном этапе кажутся руководству TSMC нерациональными. Тем более, что норма прибыли в этой сфере услуг приближается к средней по компании, не обеспечивая каких-то впечатляющих преимуществ. Как отмечается, отказ TSMC был мотивирован возможными последствиями для отношений компании с другими клиентами, которые также захотели бы добиться определённых привилегий. Сохраняя равные для всех клиентов условия, TSMC может обеспечить более предсказуемую ситуацию с масштабированием производственных мощностей.

В прошлом, как отмечают знакомые с практикой дел TSMC источники, эта компания предоставляла крупным клиентам определённые привилегии. Например, Apple в своё время попросила предоставить ей выделенные линии по выпуску чипов, и TSMC пошла на это, но в тот период тайваньский производитель сильно зависел от заказов Apple и не мог пренебрегать такой возможностью оптимальным образом загрузить свой конвейер. В случае с Nvidia ситуация заметно отличается. Как ожидается, TSMC не сможет покрыть потребности рынка в мощностях по упаковке чипов по методу CoWoS даже к концу следующего года, поскольку спрос будет расти опережающими темпами. Подобное положение на рынке, близкое к монопольному, позволяет TSMC более жёстко отстаивать свои интересы в переговорах с заказчиками. Это заметно даже по высказываниям Си-Си Вэя, который недавно признался, что хотел бы брать с той же Nvidia больше денег за услуги TSMC.

По данным тайваньского издания Commercial Times, мощности TSMC по обработке кремниевых пластин с использованием 3-нм техпроцесса почти полностью распределены по заказам среди семи крупнейших клиентов компании на весь следующий год. Упаковывать чипы по методу CoWoS компания в нужных количествах тоже не успевает, поэтому цены на эти услуги в следующем году поднимет на 10 или 20 %.

Источник изображения: TSMC

Кроме того, обработка кремниевых пластин по 3-нм технологии будет обходиться клиентам TSMC на 5 % дороже со следующего года, как ожидают тайваньские источники. Руководство TSMC и Nvidia недавно обменялось мнениями по поводу возможного повышения цен на услуги первой из компаний, и вторая не стала противиться подобной инициативе, хотя публично тайваньский производитель обычно не комментирует вопросы, касающиеся взаимоотношений со своими клиентами.

Потребность рынка в услугах TSMC по упаковке чипов по методу CoWoS тоже растёт опережающими темпами. При этом в третьем квартале компания введёт в строй дополнительные мощности, которые увеличат производительность профильных предприятий последовательно с 17 000 до 33 000 изделий в месяц, а к концу года показатель поднимется до 35 000 изделий в месяц. Даже этих усилий не хватит, чтобы в 2025 году покрыть весь спрос на такие услуги. Предполагается, что спрос выйдет на годовой объём в 600 000 чипов, а TSMC сможет упаковывать только 530 000 чипов в год. Капитальные затраты на расширение производства потребуют от TSMC повышения цен на свои услуги на 10–20 %.

Призывы к тайваньским компаниям создавать предприятия по выпуску чипов за пределами острова часто звучат от крупных клиентов и целых государств, но растущее значение в наше время обретает и сфера тестирования и упаковки чипов, которая должна развиваться синхронно. Эксперты считают, что экспансия профильных предприятий за пределами Тайваня будет неизбежной.

Источник изображения: ASE Technology

Как поясняет DigiTimes, возможности компании TSMC по тестированию и упаковке чипов с использованием передовой технологии CoWoS в текущем году должны удвоиться, но даже с учётом мощностей подрядчиков они не смогут покрыть потребности рынка. Компания ASE Technology обладает необходимым оборудованием и компетенциями, чтобы обеспечивать полный цикл тестирования и упаковки чипов по методу CoWoS 2.5D. Компания Amkor способна содействовать им лишь на определённых этапах технологического процесса, но в нынешней ситуации любая помощь очень важна. При этом для всей отрасли по упаковке чипов прошедший 2023 год характеризовался двузначным спадом показателей, а востребованным методом упаковки CoWoS владеют лишь немногие участники рынка, перечисленные в этом абзаце выше.

Помимо высокого спроса на определённый вид услуг, участников рынка толкает к международной экспансии суровая геополитическая реальность, которая заставляет критически оценивать высокую степень концентрации профильных предприятий на Тайване. Поставщики оборудования считают, что основными направлениями экспансии станут Сингапур, Малайзия и Япония. Для тайваньских компаний, которые решатся на такую миграцию, при выборе её направления будет важен целый ряд факторов: поддержка правительства в виде субсидий, наличие квалифицированной рабочей силы, развитость цепочек поставок и логистики, наличие спроса со стороны местных клиентов, а главное — готовность инженерной инфраструктуры к появлению новых предприятий. Стабильность энерго- и водоснабжения будет иметь первостепенную важность в этом вопросе.

Генеральный директор TSMC Си-Си Вэй (C.C. Wei) на недавнем отчётном квартальном мероприятии заявил, что занимающаяся упаковкой чипов компания Amkor намеревается построить своё предприятие в Аризоне в непосредственной близости от производственной площадки TSMC. Обеим компаниям предстоит вести работу по приведению своих операций в регионе в соответствие с требованиями местных клиентов.

В конце этой рабочей недели южнокорейская компания SK hynix сообщила о подписании меморандума о взаимопонимании с тайваньской компанией TSMC в сфере сотрудничества в рамках производства памяти HBM следующего поколения, коей является HBM4. Корейская компания освоит её массовое производство в 2026 году, и это позволит ей сохранить лидерские позиции на этом рынке.

Источник изображения: SK hynix

По данным TrendForce, в этом году SK hynix сможет сохранить за собой 52,5 % рынка микросхем типа HBM, ещё 42,4 % достанутся Samsung Electronics, а Micron Technology будет довольствоваться оставшимися 5,1 %. В настоящее время SK hynix является крупнейшим поставщиком микросхем HBM3 для нужд Nvidia и собирается в ближайшие месяцы начать поставки более совершенной памяти типа HBM3E. Следующим этапом станет выпуск HBM4, который начнётся ориентировочно в 2026 году, и сейчас SK hynix пытается заручиться поддержкой TSMC в этом вопросе.

Дело в том, что TSMC остаётся единственной компанией, способной упаковывать память HBM и ускорители вычислений Nvidia по методу CoWoS, а потому SK hynix в эволюции своей памяти зависит от тайваньского партнёра. Из выделенных на текущий год капитальных затрат в диапазоне от $28 до $32 млрд компания TSMC намеревается до десяти процентов потратить на расширение мощностей по упаковке чипов и памяти. Именно их нехватка считается одной из причин дефицита ускорителей вычислений Nvidia для систем искусственного интеллекта. В прошлом году на долю HBM приходилось не более 8,4 % выручки в сегменте DRAM, но по итогам текущего эта доля вырастет до 20,1 %.

В этом году Nvidia выпустит семейство ускорителей вычислений нового поколения Blackwell, в котором будут представлены решения как с одними лишь графическими процессорами, например B100 и B200, так и решения, сочетающие графический процессор и центральный Arm-процессор собственной разработки — Blackwell GB200. Выход новых чипов Nvidia значительно увеличит спрос на упаковку чипов по передовой технологии TSMC CoWoS, уверены аналитики TrendForce.

Источник изображения: nvidia.com

Если на долю ускорителей GH200 приходились лишь 5 % поставок высокопроизводительных GPU Nvidia, то с GB200 этот показатель к 2025 году вырастет до 40–50 %. Nvidia планирует наладить выпуск GB200 и B100 во второй половине года, для упаковки чипов потребуется сложная и высокоточная технология CoWoS-L, которая сделает процесс тестирования трудоёмким. Потребуется дополнительное время для оптимизации серии Blackwell для серверных систем искусственного интеллекта в таких аспектах как сетевое соединение и показатели охлаждения. Как ожидается, производство продуктов GB200 и B100 в значительных объемах начнётся не раньше IV квартала 2024 или I квартала 2025 года.

Выпуск ускорителей GB200, B100 и B200 потребует увеличения ёмкости линий по упаковке чипов CoWoS. Ожидается, что TSMC к концу года увеличит их производительность до почти 40 тыс. чипов в месяц — это рост на 150 % по сравнению с прошлым годом. К 2025 году запланированная общая мощность может почти удвоиться, при этом, как ожидается, спрос со стороны Nvidia составит более половины от этой мощности. Другие поставщики, такие как Amkor и Intel, в настоящее время сосредоточены на технологии CoWoS-S, в первую очередь ориентированной на H-серию Nvidia.

Источник изображения: trendforce.com

Аналитики TrendForce также определили три основные тенденции развития направления памяти HBM для продуктов Nvidia и AMD после 2024 года. Во-первых, ожидается переход от HBM3 к HBM3e. Во второй половине 2024 года Nvidia начнёт наращивать поставки ускорителей H200, оснащённых HBM3e, которые заменят H100 в качестве основного продукта. Далее последуют модели GB200 и B100 также с HBM3e. AMD же к концу года выпустит новый ускоритель MI350, который могут предварять промежуточные модели, такие как MI32x, направленные на конкуренцию с H200 — все они получат HBM3e.

Во-вторых ёмкость HBM будет расти. Сегодня используются преимущественно ускорители Nvidia H100 с 80 Гбайт памяти — к концу 2024 года будут уже 192–288 Гбайт. Ускоритель AMD MI300A получил 128 Гбайт памяти, но и «красные» нарастят ёмкость до 288 Гбайт. В-третьих, память HBM3e сменит конфигурацию со стеков 8Hi (8 кристаллов DRAM уложенных друг на друга) до 12Hi. Модели Nvidia B100 и GB200 в настоящее время оснащаются HBM3e 8Hi ёмкостью 192 Гбайт, а к 2025 году модель B200 получит HBM3e 12Hi ёмкостью 288 Гбайт. Ускоритель AMD MI350, который появится к концу этого года, и ожидаемая в 2025 году серия MI375, как ожидается, получат HBM3e 12Hi также объёмом 288 Гбайт.

В июле прошлого года руководство TSMC пообещало нарастить мощности по упаковке чипов методом CoWoS в два раза к концу текущего года, тем самым рассчитывая победить дефицит подобных услуг, порождённый ростом спроса на ускорители для систем искусственного интеллекта. Теперь TSMC признаётся, что наращивать мощности придётся и в следующем году, но при этом компания готовит новое поколение упаковки CoWoS.

Источник изображения: NVIDIA

Напомним, именно упаковку CoWoS используют ускорители вычислений NVIDIA, используемые в составе многих систем искусственного интеллекта. По сути, дефицит таких ускорителей во многом порождён ограниченностью возможностей TSMC по упаковке и тестированию чипов с использованием данной технологии. Компания делает всё возможное для устранения дефицита, хотя с точки зрения величины капитальных затрат на текущий год изменения в этой не прослеживаются. На этой неделе стало известно, что в этом году TSMC потратит от $28 до $32 млрд на расширение производственных мощностей и освоение новых технологий, причём на упаковку будет потрачено в лучшем случае не более 10 % этой суммы. Данные затраты примерно сопоставимы с прошлогодними, из чего можно сделать вывод, что экспансия профильных мощностей будет происходить линейно, без резких скачков в производительности.

Генеральный директор TSMC Си-Си Вэй (C.C. Wei) на квартальной отчётной конференции признал, что спрос на услуги в сфере упаковки чипов очень высок. Ситуация по-прежнему такова, что TSMC не в силах удовлетворить спрос со стороны клиентов. «Это состояние, возможно, продлится вплоть до следующего года. Впрочем, мы очень активно работаем над тем, чтобы увеличить мощности. В этом году, например, мы их удваиваем, но этого всё равно недостаточно, поэтому мы продолжим их увеличивать и в следующем году», — заявил глава TSMC, добавив, что компания вкладывает средства в сопутствующие технологии на протяжении более 10 лет. По его оценкам, в ближайшие пять лет сегмент CoWoS будет расти более чем на 50 % ежегодно в среднем. TSMC вполне по силам покрыть весь спрос со стороны клиентов.

Глава компании отказался отвечать на вопрос о темпах роста упаковочных мощностей TSMC в следующем году. Говоря о крупном клиенте, в котором угадывается NVIDIA, руководитель TSMC заявил об усердной работе над обеспечением его потребностей адекватными производственными мощностями, но до 100-процентного решения проблемы пока далеко. Для этого клиента TSMC уже разрабатывает новое поколение упаковки CoWoS, и её характеристиками уже впечатлён не только данный клиент, но и все прочие, поэтому компания не сомневается в необходимости дальнейшего увеличения профильных мощностей.

Представители TSMC недавно дали понять, что в части услуг по упаковке чипов методом CoWoS компания сейчас способна удовлетворять потребности клиентов от силы на 80 %, и на фоне резко растущего спроса устранить дефицит удастся лишь к концу следующего года. По данным тайваньских СМИ, сейчас TSMC вынуждена расширять профильные мощности быстрее, чем планировала изначально.

Источник изображения: NVIDIA

Издание Taiwan Economic Daily поясняет, что сперва TSMC рассчитывала увеличить производительность профильных линий с 12 000 кремниевых пластин в месяц до 15 000 или 20 000 пластин в месяц, завершив этот этап расширения к концу первого квартала следующего года. Теперь возникла потребность поднять производительность линий по упаковке чипов методом CoWoS ещё примерно на 30 %, до 25 000 или 30 000 пластин в месяц. По крайней мере, к концу второго квартала TSMC рассчитывает получить от производителей оборудования всё необходимое, чтобы уже во второй половине следующего года выйти на новый объём ежемесячной упаковки чипов. В целом, как отмечалось ранее, TSMC готова к концу следующего года удвоить профильные мощности по сравнению с текущим уровнем.

NVIDIA сейчас получает около 60 % квот на данный вид услуг, как поясняют тайваньские источники, оставаясь крупнейшим клиентом TSMC. При этом спрос на упаковку методом CoWoS растёт и со стороны других разработчиков, включая AMD, Broadcom и Amazon, поэтому TSMC вынуждена увеличивать производственные мощности не только по прихоти NVIDIA. Поставщики профильного оборудования для упаковки чипов с воодушевлением смотрят на перспективы роста своей выручки вплоть до середины следующего года, поскольку заказами со стороны TSMC они как раз обеспечены до этого времени.

Сейчас именно способность TSMC упаковывать ускорители вычислений A100 и H100 в известной степени ограничивает возможности NVIDIA по увеличению объёмов их поставок на фоне бума систем искусственного интеллекта. Руководство NVIDIA готово привлекать новых партнёров к решению этой проблемы, но «перепрыгнуть» через TSMC ему всё равно не удастся, поскольку технология производства указанных чипов NVIDIA подразумевает использование только упаковки CoWoS в исполнении конкретного тайваньского подрядчика.

На недавней квартальной конференции руководство TSMC было вынуждено признать, что сейчас компания не в силах удовлетворить спрос на услуги по упаковке и тестированию чипов в полной мере, и ситуацию удастся нормализовать лишь к концу следующего года, но для этого компании придётся буквально удвоить профильные мощности. Сегодня стало известно, что одно из новых предприятий по упаковки чипов появится на севере Тайваня.

Источник изображения: IBM

Его строительство, как сообщает Reuters, обойдётся компании TSMC в $2,9 млрд. Как сообщили представители этого контрактного производителя чипов, ради удовлетворения рыночного спроса на подобные услуги, компания построит предприятие по упаковке чипов с использованием передовых технологий в технопарке Тонлуо округа Мяоли. Сейчас спрос на данные услуги подогревается интересом клиентов к выпуску ускорителей вычислений, которые требуют высокой плотности размещения транзисторов, которая в современных условиях достигается использованием сложной пространственной компоновки кристаллов.

Администрация округа Мяоли на севере Тайваня одобрила проект строительства, выделив подходящий участок земли на территории технопарка Тонлуо. По данным властей, это предприятие сможет обеспечить работой до 1500 человек. В следующем году, как стало известно на прошлой неделе, руководство TSMC собирается от 70 до 80 % капитальных расходов направить на освоение передовой литографии, на зрелую выделить до 10–20 %, а оставшиеся 10 % распределить между проектами по упаковке чипов и прочими потребностями. Если учесть, что рассчитывать на значительное увеличение капитальных затрат TSMC по сравнению с текущим годом ($32 млрд) не планируется, строительство предприятия по упаковке чипов на севере Тайваня наверняка займёт почти весь целевой бюджет.

Компания TSMC при производстве востребованных рынком ускорителей вычислений NVIDIA использует собственные возможности по пространственной упаковке чипов (CoWoS), но по мере роста спроса их перестало хватать, поэтому тайваньский гигант взял курс на расширение. К концу следующего года они должны быть удвоены, если верить осведомлённым источникам.

Источник изображения: NVIDIA

О соответствующих планах стало известно с подачи тайваньского издания DigiTimes, на которое ссылается ресурс Tom’s Hardware. Сейчас собственные мощности TSMC по упаковке чипов по методу CoWoS позволяют обрабатывать ежемесячно не более 8000 кремниевых пластин. К концу текущего года объёмы будут увеличены до 11 000 кремниевых пластин в месяц, а к концу следующего — до всех 16 000 в самом оптимистичном варианте. Ранние слухи упоминали о планах TSMC увеличить объёмы до 20 000 пластин в месяц к концу 2024 года, но в условиях нестабильности рынка подобные коррективы возможны как в одну, так и в другую сторону.

Клиентами TSMC в этой сфере, помимо NVIDIA, являются Amazon (AWS), Broadcom, Cisco и Xilinx (AMD). Сейчас TSMC, по данным тайваньских СМИ, активно закупает оборудование, необходимое для расширения мощностей по упаковке чипов с использованием метода CoWoS. Утверждается, что NVIDIA уже зарезервировала за собой около 40 % производственной программы TSMC на следующий год по этому направлению. Американскому разработчику чипов даже пришлось искать дополнительных подрядчиков в лице Amkor Technology и UMC на выполнение таких заказов, но они пока особо помочь не могут в силу ограниченности своих мощностей.

В свою очередь, поставщики TSMC к середине следующего года должны поставить ей примерно 30 комплектов профильного оборудования, чтобы компания смогла реализовать свои планы по расширению мощностей, задействованных на упаковке чипов по методу CoWoS. Одновременно TSMC оптимизирует собственные производственные мощности, чтобы быстрее нарастить объёмы обработки чипов на этом направлении. На прошлой неделе TSMC открыла предприятие Fab 6, которое сосредоточится на тестировании и упаковке чипов, включая и метод CoWoS.

Компания NVIDIA применяет компоновку CoWoS при производстве ускорителей A100, A30, A800, H100 и H800, которые сейчас очень востребованы разработчиками систем искусственного интеллекта. В случае с AMD подобная компоновка применяется при производстве ускорителей вычислений Instinct моделей MI100, MI200, MI250X и будущего MI300. С этой точки зрения планы по расширению профильных мощностей TSMC имеют огромное значение для бизнеса NVIDIA, AMD и других крупных клиентов.

Аналитики TrendForce ожидают, что в 2023-м и 2024-м годах на рынке будет наблюдаться повышенный спрос на высокопроизводительную память HBM. На фоне этого эксперты прогнозируют увеличение объёмов выпуска чипов с использованием передовых технологий упаковок на 30–40 %.

Источник изображения: NVIDIA

Взрывной рост популярности приложений генеративного ИИ, таких как чат-боты, привёл к значительным изменениям на серверном рынке в 2023 году. Ключевые западные поставщики услуг в области информационных технологий, такие как Microsoft, Google, AWS, а также китайские компании Baidu и ByteDance вкладывают значительные средства в передовые высокопроизводительные серверы для обучения и оптимизации своих моделей ИИ.

Для повышения эффективности ИИ-серверов и увеличения пропускной способности их подсистем памяти ведущие производители микросхем для ИИ, такие как NVIDIA, AMD и Intel, активно внедряют высокопроизводительную память HBM в свои продукты. В частности, ускорители вычислений NVIDIA A100 и H100 предлагают до 80 Гбайт памяти стандартов HBM2e и HBM3. В своём самом передовом ускорителе Grace Hopper производитель использует стеки памяти HBM с увеличенным на 20 % (до 96 Гбайт) объёмом. Ускорители вычислений MI300 от компании AMD тоже оснащаются памятью HBM3. Те же модели MI300A предлагают 128 Гбайт памяти, а более передовые MI300X — до 192 Гбайт указанной памяти. Ожидается, что компания Google в рамках расширения своей ИИ-инфраструктуры укрепит сотрудничество с Broadcom и концу текущего года начнёт производство чипа-ускорителя искусственного интеллекта TPU, в состав которого также будет входить память HBM.

По прогнозам TrendForce, совокупный объём памяти HBM, использующейся в ускорителях вычислений ИИ, включая NVIDIA H100 и A100, AMD MI200 и MI300, а также Google TPU, составит 290 млн гигабайт, что на 60 % больше, чем годом ранее. В 2024 году этот рост сохранится на уровне 30 или более процентов.

В сфере ИИ и HPC также растёт спрос на передовые технологии упаковки чипов. Преобладающим выбором для производства серверных чипов ИИ является технология Chip on Wafer on Substrate (CoWoS) компании TSMC. Технология упаковки CoWoS включает два этапа: CoW и oS. На этапе CoW между собой объединяются различные логические микросхемы (центральные и графические процессоры, ASIC), а также память HBM. На этапе oS элементы сборки CoW устанавливаются на подложку чипа. Впоследствии формируется SoC, которая интегрируется в серверную материнскую плату, на основе которой создаётся ИИ-платформа с сетевым оборудованием, подсистемой памяти, источниками питания и прочими компонентами.

Эксперты прогнозируют, что на фоне высокого спроса на передовые ИИ-чипы в целом и HBM-память в частности ежемесячный объём выпуска микросхем с использованием технологии упаковки CoWoS компании TSMC к концу 2023 года увеличится до 12 тыс. единиц. С начала 2023 года спрос на CoWoS вырос почти на 50 %, что обусловлено высокой популярностью ускорителей NVIDIA A100 и H100, а также ИИ-серверов на их основе. В то же время на фоне растущего интереса к CoWoS со стороны AMD, Google и других компаний количество свободных линий для производства чипов с CoWoS, вероятно, будет ограничено во второй половине текущего года, считают аналитики. Высокий спрос на CoWoS сохранится как минимум до 2024 года, а поэтому в следующем году ожидается увеличение соответствующих доступных мощностей на 30–40 % с учётом готовности необходимого оборудования.

Если высокий спрос на технологии ИИ сохранится, то вполне вероятно, что та же NVIDIA может рассмотреть возможность использования альтернативных передовых упаковок для производства чипов. Такие, например, предлагают компании Amkor и Samsung.