Призывы к тайваньским компаниям создавать предприятия по выпуску чипов за пределами острова часто звучат от крупных клиентов и целых государств, но растущее значение в наше время обретает и сфера тестирования и упаковки чипов, которая должна развиваться синхронно. Эксперты считают, что экспансия профильных предприятий за пределами Тайваня будет неизбежной.

Источник изображения: ASE Technology

Как поясняет DigiTimes, возможности компании TSMC по тестированию и упаковке чипов с использованием передовой технологии CoWoS в текущем году должны удвоиться, но даже с учётом мощностей подрядчиков они не смогут покрыть потребности рынка. Компания ASE Technology обладает необходимым оборудованием и компетенциями, чтобы обеспечивать полный цикл тестирования и упаковки чипов по методу CoWoS 2.5D. Компания Amkor способна содействовать им лишь на определённых этапах технологического процесса, но в нынешней ситуации любая помощь очень важна. При этом для всей отрасли по упаковке чипов прошедший 2023 год характеризовался двузначным спадом показателей, а востребованным методом упаковки CoWoS владеют лишь немногие участники рынка, перечисленные в этом абзаце выше.

Помимо высокого спроса на определённый вид услуг, участников рынка толкает к международной экспансии суровая геополитическая реальность, которая заставляет критически оценивать высокую степень концентрации профильных предприятий на Тайване. Поставщики оборудования считают, что основными направлениями экспансии станут Сингапур, Малайзия и Япония. Для тайваньских компаний, которые решатся на такую миграцию, при выборе её направления будет важен целый ряд факторов: поддержка правительства в виде субсидий, наличие квалифицированной рабочей силы, развитость цепочек поставок и логистики, наличие спроса со стороны местных клиентов, а главное — готовность инженерной инфраструктуры к появлению новых предприятий. Стабильность энерго- и водоснабжения будет иметь первостепенную важность в этом вопросе.

Генеральный директор TSMC Си-Си Вэй (C.C. Wei) на недавнем отчётном квартальном мероприятии заявил, что занимающаяся упаковкой чипов компания Amkor намеревается построить своё предприятие в Аризоне в непосредственной близости от производственной площадки TSMC. Обеим компаниям предстоит вести работу по приведению своих операций в регионе в соответствие с требованиями местных клиентов.

В конце этой рабочей недели южнокорейская компания SK hynix сообщила о подписании меморандума о взаимопонимании с тайваньской компанией TSMC в сфере сотрудничества в рамках производства памяти HBM следующего поколения, коей является HBM4. Корейская компания освоит её массовое производство в 2026 году, и это позволит ей сохранить лидерские позиции на этом рынке.

Источник изображения: SK hynix

По данным TrendForce, в этом году SK hynix сможет сохранить за собой 52,5 % рынка микросхем типа HBM, ещё 42,4 % достанутся Samsung Electronics, а Micron Technology будет довольствоваться оставшимися 5,1 %. В настоящее время SK hynix является крупнейшим поставщиком микросхем HBM3 для нужд Nvidia и собирается в ближайшие месяцы начать поставки более совершенной памяти типа HBM3E. Следующим этапом станет выпуск HBM4, который начнётся ориентировочно в 2026 году, и сейчас SK hynix пытается заручиться поддержкой TSMC в этом вопросе.

Дело в том, что TSMC остаётся единственной компанией, способной упаковывать память HBM и ускорители вычислений Nvidia по методу CoWoS, а потому SK hynix в эволюции своей памяти зависит от тайваньского партнёра. Из выделенных на текущий год капитальных затрат в диапазоне от $28 до $32 млрд компания TSMC намеревается до десяти процентов потратить на расширение мощностей по упаковке чипов и памяти. Именно их нехватка считается одной из причин дефицита ускорителей вычислений Nvidia для систем искусственного интеллекта. В прошлом году на долю HBM приходилось не более 8,4 % выручки в сегменте DRAM, но по итогам текущего эта доля вырастет до 20,1 %.

В этом году Nvidia выпустит семейство ускорителей вычислений нового поколения Blackwell, в котором будут представлены решения как с одними лишь графическими процессорами, например B100 и B200, так и решения, сочетающие графический процессор и центральный Arm-процессор собственной разработки — Blackwell GB200. Выход новых чипов Nvidia значительно увеличит спрос на упаковку чипов по передовой технологии TSMC CoWoS, уверены аналитики TrendForce.

Источник изображения: nvidia.com

Если на долю ускорителей GH200 приходились лишь 5 % поставок высокопроизводительных GPU Nvidia, то с GB200 этот показатель к 2025 году вырастет до 40–50 %. Nvidia планирует наладить выпуск GB200 и B100 во второй половине года, для упаковки чипов потребуется сложная и высокоточная технология CoWoS-L, которая сделает процесс тестирования трудоёмким. Потребуется дополнительное время для оптимизации серии Blackwell для серверных систем искусственного интеллекта в таких аспектах как сетевое соединение и показатели охлаждения. Как ожидается, производство продуктов GB200 и B100 в значительных объемах начнётся не раньше IV квартала 2024 или I квартала 2025 года.

Выпуск ускорителей GB200, B100 и B200 потребует увеличения ёмкости линий по упаковке чипов CoWoS. Ожидается, что TSMC к концу года увеличит их производительность до почти 40 тыс. чипов в месяц — это рост на 150 % по сравнению с прошлым годом. К 2025 году запланированная общая мощность может почти удвоиться, при этом, как ожидается, спрос со стороны Nvidia составит более половины от этой мощности. Другие поставщики, такие как Amkor и Intel, в настоящее время сосредоточены на технологии CoWoS-S, в первую очередь ориентированной на H-серию Nvidia.

Источник изображения: trendforce.com

Аналитики TrendForce также определили три основные тенденции развития направления памяти HBM для продуктов Nvidia и AMD после 2024 года. Во-первых, ожидается переход от HBM3 к HBM3e. Во второй половине 2024 года Nvidia начнёт наращивать поставки ускорителей H200, оснащённых HBM3e, которые заменят H100 в качестве основного продукта. Далее последуют модели GB200 и B100 также с HBM3e. AMD же к концу года выпустит новый ускоритель MI350, который могут предварять промежуточные модели, такие как MI32x, направленные на конкуренцию с H200 — все они получат HBM3e.

Во-вторых ёмкость HBM будет расти. Сегодня используются преимущественно ускорители Nvidia H100 с 80 Гбайт памяти — к концу 2024 года будут уже 192–288 Гбайт. Ускоритель AMD MI300A получил 128 Гбайт памяти, но и «красные» нарастят ёмкость до 288 Гбайт. В-третьих, память HBM3e сменит конфигурацию со стеков 8Hi (8 кристаллов DRAM уложенных друг на друга) до 12Hi. Модели Nvidia B100 и GB200 в настоящее время оснащаются HBM3e 8Hi ёмкостью 192 Гбайт, а к 2025 году модель B200 получит HBM3e 12Hi ёмкостью 288 Гбайт. Ускоритель AMD MI350, который появится к концу этого года, и ожидаемая в 2025 году серия MI375, как ожидается, получат HBM3e 12Hi также объёмом 288 Гбайт.

В июле прошлого года руководство TSMC пообещало нарастить мощности по упаковке чипов методом CoWoS в два раза к концу текущего года, тем самым рассчитывая победить дефицит подобных услуг, порождённый ростом спроса на ускорители для систем искусственного интеллекта. Теперь TSMC признаётся, что наращивать мощности придётся и в следующем году, но при этом компания готовит новое поколение упаковки CoWoS.

Источник изображения: NVIDIA

Напомним, именно упаковку CoWoS используют ускорители вычислений NVIDIA, используемые в составе многих систем искусственного интеллекта. По сути, дефицит таких ускорителей во многом порождён ограниченностью возможностей TSMC по упаковке и тестированию чипов с использованием данной технологии. Компания делает всё возможное для устранения дефицита, хотя с точки зрения величины капитальных затрат на текущий год изменения в этой не прослеживаются. На этой неделе стало известно, что в этом году TSMC потратит от $28 до $32 млрд на расширение производственных мощностей и освоение новых технологий, причём на упаковку будет потрачено в лучшем случае не более 10 % этой суммы. Данные затраты примерно сопоставимы с прошлогодними, из чего можно сделать вывод, что экспансия профильных мощностей будет происходить линейно, без резких скачков в производительности.

Генеральный директор TSMC Си-Си Вэй (C.C. Wei) на квартальной отчётной конференции признал, что спрос на услуги в сфере упаковки чипов очень высок. Ситуация по-прежнему такова, что TSMC не в силах удовлетворить спрос со стороны клиентов. «Это состояние, возможно, продлится вплоть до следующего года. Впрочем, мы очень активно работаем над тем, чтобы увеличить мощности. В этом году, например, мы их удваиваем, но этого всё равно недостаточно, поэтому мы продолжим их увеличивать и в следующем году», — заявил глава TSMC, добавив, что компания вкладывает средства в сопутствующие технологии на протяжении более 10 лет. По его оценкам, в ближайшие пять лет сегмент CoWoS будет расти более чем на 50 % ежегодно в среднем. TSMC вполне по силам покрыть весь спрос со стороны клиентов.

Глава компании отказался отвечать на вопрос о темпах роста упаковочных мощностей TSMC в следующем году. Говоря о крупном клиенте, в котором угадывается NVIDIA, руководитель TSMC заявил об усердной работе над обеспечением его потребностей адекватными производственными мощностями, но до 100-процентного решения проблемы пока далеко. Для этого клиента TSMC уже разрабатывает новое поколение упаковки CoWoS, и её характеристиками уже впечатлён не только данный клиент, но и все прочие, поэтому компания не сомневается в необходимости дальнейшего увеличения профильных мощностей.

Ещё в июле руководство TSMC пообещало к концу следующего года удвоить мощности по упаковке чипов методом CoWoS в два раза. Позднее представители компании признались, что сейчас она способна покрывать спрос на такие услуги от силы на 80 %, и победить дефицит сможет не ранее конца 2024 года. Теперь тайваньские СМИ заявляют, что план экспансии решено увеличить ещё на 20 % от первоначально заложенного в прогноз уровня.

Источник изображения: TSMC

По крайней мере, ресурс Taiwan Economic Daily News заявил, что рост потребности пяти крупнейших клиентов TSMC в услугах по упаковке чипов методом CoWoS, который используется при производстве многих востребованных на рынке ускорителей вычислений, подтолкнул TSMC к увеличению плана на следующий год. Ежемесячно к концу следующего года TSMC должна упаковывать этим методом до 35 000 чипов. Другими словами, по сравнению с положением дел на середину текущего года, профильные мощности компании должны увеличиться на 120 %.

Среди крупнейших клиентов TSMC на данном направлении деятельности упоминается не только NVIDIA, которая формирует примерно 60 % заказов, но и конкурирующая AMD, а также Apple, Marvell и Broadcom. В структуре AMD потребность в использовании сложных пространственных упаковок испытывает не только головная компания с её ускорителями семейства Instinct, которое скоро пополнится моделями серии MI300, но и дочерняя структура, сформированная на базе Xilinx. Недавний анонс новых ускорителей NVIDIA H200 сам по себе способен подстегнуть спрос на профильные услуги TSMC, поэтому расширение производственной базы является оправданным шагом с точки зрения последней.

Представители TSMC недавно дали понять, что в части услуг по упаковке чипов методом CoWoS компания сейчас способна удовлетворять потребности клиентов от силы на 80 %, и на фоне резко растущего спроса устранить дефицит удастся лишь к концу следующего года. По данным тайваньских СМИ, сейчас TSMC вынуждена расширять профильные мощности быстрее, чем планировала изначально.

Источник изображения: NVIDIA

Издание Taiwan Economic Daily поясняет, что сперва TSMC рассчитывала увеличить производительность профильных линий с 12 000 кремниевых пластин в месяц до 15 000 или 20 000 пластин в месяц, завершив этот этап расширения к концу первого квартала следующего года. Теперь возникла потребность поднять производительность линий по упаковке чипов методом CoWoS ещё примерно на 30 %, до 25 000 или 30 000 пластин в месяц. По крайней мере, к концу второго квартала TSMC рассчитывает получить от производителей оборудования всё необходимое, чтобы уже во второй половине следующего года выйти на новый объём ежемесячной упаковки чипов. В целом, как отмечалось ранее, TSMC готова к концу следующего года удвоить профильные мощности по сравнению с текущим уровнем.

NVIDIA сейчас получает около 60 % квот на данный вид услуг, как поясняют тайваньские источники, оставаясь крупнейшим клиентом TSMC. При этом спрос на упаковку методом CoWoS растёт и со стороны других разработчиков, включая AMD, Broadcom и Amazon, поэтому TSMC вынуждена увеличивать производственные мощности не только по прихоти NVIDIA. Поставщики профильного оборудования для упаковки чипов с воодушевлением смотрят на перспективы роста своей выручки вплоть до середины следующего года, поскольку заказами со стороны TSMC они как раз обеспечены до этого времени.

Сейчас именно способность TSMC упаковывать ускорители вычислений A100 и H100 в известной степени ограничивает возможности NVIDIA по увеличению объёмов их поставок на фоне бума систем искусственного интеллекта. Руководство NVIDIA готово привлекать новых партнёров к решению этой проблемы, но «перепрыгнуть» через TSMC ему всё равно не удастся, поскольку технология производства указанных чипов NVIDIA подразумевает использование только упаковки CoWoS в исполнении конкретного тайваньского подрядчика.

На недавней квартальной конференции руководство TSMC было вынуждено признать, что сейчас компания не в силах удовлетворить спрос на услуги по упаковке и тестированию чипов в полной мере, и ситуацию удастся нормализовать лишь к концу следующего года, но для этого компании придётся буквально удвоить профильные мощности. Сегодня стало известно, что одно из новых предприятий по упаковки чипов появится на севере Тайваня.

Источник изображения: IBM

Его строительство, как сообщает Reuters, обойдётся компании TSMC в $2,9 млрд. Как сообщили представители этого контрактного производителя чипов, ради удовлетворения рыночного спроса на подобные услуги, компания построит предприятие по упаковке чипов с использованием передовых технологий в технопарке Тонлуо округа Мяоли. Сейчас спрос на данные услуги подогревается интересом клиентов к выпуску ускорителей вычислений, которые требуют высокой плотности размещения транзисторов, которая в современных условиях достигается использованием сложной пространственной компоновки кристаллов.

Администрация округа Мяоли на севере Тайваня одобрила проект строительства, выделив подходящий участок земли на территории технопарка Тонлуо. По данным властей, это предприятие сможет обеспечить работой до 1500 человек. В следующем году, как стало известно на прошлой неделе, руководство TSMC собирается от 70 до 80 % капитальных расходов направить на освоение передовой литографии, на зрелую выделить до 10–20 %, а оставшиеся 10 % распределить между проектами по упаковке чипов и прочими потребностями. Если учесть, что рассчитывать на значительное увеличение капитальных затрат TSMC по сравнению с текущим годом ($32 млрд) не планируется, строительство предприятия по упаковке чипов на севере Тайваня наверняка займёт почти весь целевой бюджет.

Компания TSMC при производстве востребованных рынком ускорителей вычислений NVIDIA использует собственные возможности по пространственной упаковке чипов (CoWoS), но по мере роста спроса их перестало хватать, поэтому тайваньский гигант взял курс на расширение. К концу следующего года они должны быть удвоены, если верить осведомлённым источникам.

Источник изображения: NVIDIA

О соответствующих планах стало известно с подачи тайваньского издания DigiTimes, на которое ссылается ресурс Tom’s Hardware. Сейчас собственные мощности TSMC по упаковке чипов по методу CoWoS позволяют обрабатывать ежемесячно не более 8000 кремниевых пластин. К концу текущего года объёмы будут увеличены до 11 000 кремниевых пластин в месяц, а к концу следующего — до всех 16 000 в самом оптимистичном варианте. Ранние слухи упоминали о планах TSMC увеличить объёмы до 20 000 пластин в месяц к концу 2024 года, но в условиях нестабильности рынка подобные коррективы возможны как в одну, так и в другую сторону.

Клиентами TSMC в этой сфере, помимо NVIDIA, являются Amazon (AWS), Broadcom, Cisco и Xilinx (AMD). Сейчас TSMC, по данным тайваньских СМИ, активно закупает оборудование, необходимое для расширения мощностей по упаковке чипов с использованием метода CoWoS. Утверждается, что NVIDIA уже зарезервировала за собой около 40 % производственной программы TSMC на следующий год по этому направлению. Американскому разработчику чипов даже пришлось искать дополнительных подрядчиков в лице Amkor Technology и UMC на выполнение таких заказов, но они пока особо помочь не могут в силу ограниченности своих мощностей.

В свою очередь, поставщики TSMC к середине следующего года должны поставить ей примерно 30 комплектов профильного оборудования, чтобы компания смогла реализовать свои планы по расширению мощностей, задействованных на упаковке чипов по методу CoWoS. Одновременно TSMC оптимизирует собственные производственные мощности, чтобы быстрее нарастить объёмы обработки чипов на этом направлении. На прошлой неделе TSMC открыла предприятие Fab 6, которое сосредоточится на тестировании и упаковке чипов, включая и метод CoWoS.

Компания NVIDIA применяет компоновку CoWoS при производстве ускорителей A100, A30, A800, H100 и H800, которые сейчас очень востребованы разработчиками систем искусственного интеллекта. В случае с AMD подобная компоновка применяется при производстве ускорителей вычислений Instinct моделей MI100, MI200, MI250X и будущего MI300. С этой точки зрения планы по расширению профильных мощностей TSMC имеют огромное значение для бизнеса NVIDIA, AMD и других крупных клиентов.

Аналитики TrendForce ожидают, что в 2023-м и 2024-м годах на рынке будет наблюдаться повышенный спрос на высокопроизводительную память HBM. На фоне этого эксперты прогнозируют увеличение объёмов выпуска чипов с использованием передовых технологий упаковок на 30–40 %.

Источник изображения: NVIDIA

Взрывной рост популярности приложений генеративного ИИ, таких как чат-боты, привёл к значительным изменениям на серверном рынке в 2023 году. Ключевые западные поставщики услуг в области информационных технологий, такие как Microsoft, Google, AWS, а также китайские компании Baidu и ByteDance вкладывают значительные средства в передовые высокопроизводительные серверы для обучения и оптимизации своих моделей ИИ.

Для повышения эффективности ИИ-серверов и увеличения пропускной способности их подсистем памяти ведущие производители микросхем для ИИ, такие как NVIDIA, AMD и Intel, активно внедряют высокопроизводительную память HBM в свои продукты. В частности, ускорители вычислений NVIDIA A100 и H100 предлагают до 80 Гбайт памяти стандартов HBM2e и HBM3. В своём самом передовом ускорителе Grace Hopper производитель использует стеки памяти HBM с увеличенным на 20 % (до 96 Гбайт) объёмом. Ускорители вычислений MI300 от компании AMD тоже оснащаются памятью HBM3. Те же модели MI300A предлагают 128 Гбайт памяти, а более передовые MI300X — до 192 Гбайт указанной памяти. Ожидается, что компания Google в рамках расширения своей ИИ-инфраструктуры укрепит сотрудничество с Broadcom и концу текущего года начнёт производство чипа-ускорителя искусственного интеллекта TPU, в состав которого также будет входить память HBM.

По прогнозам TrendForce, совокупный объём памяти HBM, использующейся в ускорителях вычислений ИИ, включая NVIDIA H100 и A100, AMD MI200 и MI300, а также Google TPU, составит 290 млн гигабайт, что на 60 % больше, чем годом ранее. В 2024 году этот рост сохранится на уровне 30 или более процентов.

В сфере ИИ и HPC также растёт спрос на передовые технологии упаковки чипов. Преобладающим выбором для производства серверных чипов ИИ является технология Chip on Wafer on Substrate (CoWoS) компании TSMC. Технология упаковки CoWoS включает два этапа: CoW и oS. На этапе CoW между собой объединяются различные логические микросхемы (центральные и графические процессоры, ASIC), а также память HBM. На этапе oS элементы сборки CoW устанавливаются на подложку чипа. Впоследствии формируется SoC, которая интегрируется в серверную материнскую плату, на основе которой создаётся ИИ-платформа с сетевым оборудованием, подсистемой памяти, источниками питания и прочими компонентами.

Эксперты прогнозируют, что на фоне высокого спроса на передовые ИИ-чипы в целом и HBM-память в частности ежемесячный объём выпуска микросхем с использованием технологии упаковки CoWoS компании TSMC к концу 2023 года увеличится до 12 тыс. единиц. С начала 2023 года спрос на CoWoS вырос почти на 50 %, что обусловлено высокой популярностью ускорителей NVIDIA A100 и H100, а также ИИ-серверов на их основе. В то же время на фоне растущего интереса к CoWoS со стороны AMD, Google и других компаний количество свободных линий для производства чипов с CoWoS, вероятно, будет ограничено во второй половине текущего года, считают аналитики. Высокий спрос на CoWoS сохранится как минимум до 2024 года, а поэтому в следующем году ожидается увеличение соответствующих доступных мощностей на 30–40 % с учётом готовности необходимого оборудования.

Если высокий спрос на технологии ИИ сохранится, то вполне вероятно, что та же NVIDIA может рассмотреть возможность использования альтернативных передовых упаковок для производства чипов. Такие, например, предлагают компании Amkor и Samsung.