Китайская компания ByteDance планирует разработать новую модель ИИ, обученную на ускорителях искусственного интеллекта Ascend 910B от Huawei Technologies. ByteDance последовательно диверсифицирует свою вычислительную инфраструктуру, ориентируясь на китайских производителей полупроводников. Компания также ускорила разработку собственных ускорителей ИИ.

Источник изображения: Pixabay

На условиях конфиденциальности несколько источников сообщили, что следующим шагом ByteDance в ИИ-гонке станет использование чипа Huawei Ascend 910B для обучения собственной большой языковой модели ИИ. Ранее компания использовала этот ускоритель в основном для менее вычислительно интенсивных задач, основанных на предварительно обученных моделях ИИ.

Обучение моделей ИИ требует огромного количества вычислительных ресурсов. На сегодняшний день самыми производительными ускорителями ИИ являются новейшие графические процессоры Nvidia, которые стали недоступны китайским компаниям из-за санкционной политики США. Поэтому возможности и сложность новой модели, использующей чипы Huawei Ascend 910B, будут ниже, чем у существующей модели ИИ ByteDance Doubao, обученной при помощи процессоров Nvidia.

Текущая технология искусственного интеллекта ByteDance используется в её флагманской большой языковой модели, выпущенной в августе 2023 года. На ней базируется чат-бот Doubao и множество других приложений, включая инструмент преобразования текста в видео Jimeng. Эти приложения становятся всё более востребованными, а чат-бот ByteDance стал одним из самых популярных приложений в Китае с более чем 10 миллионами активных пользователей в месяц.

ByteDance заказала более 100 000 чипов Ascend 910B в этом году, но по состоянию на июль получила менее 30 000, что слишком мало для удовлетворения потребностей компании. По словам источников, задержки поставок и ограниченная вычислительная мощность этих чипов пока не позволяют сделать прогноз о сроках появления новой модели ИИ.

Комментируя создавшуюся ситуацию, представитель ByteDance Майкл Хьюз (Michael Hughes) заявил: «Вся предпосылка здесь неверна. Никакой новой модели не разрабатывается». Однако источники утверждают, что ByteDance является одним из крупнейших покупателей ИИ-чипов Huawei и планирует обучать свою новую модель именно на них.

Компания стала крупнейшим покупателем ИИ-чипа H20 от Nvidia, который американский производитель адаптировал для китайского рынка в ответ на торговые ограничения США. Сообщалось, что в прошлом году ByteDance потратила $2 млрд на чипы Nvidia. Компания также является первым по величине азиатским клиентом Microsoft в сфере облачных вычислений.

Ускорители вычислений Nvidia A100 нельзя назвать современными по меркам западных клиентов компании, поскольку они от самых актуальных новинок марки отстали уже на два поколения, но специфика китайского рынка позволяет местным конкурентам гордиться даже превосходством над такими решениями Nvidia, что и делает Huawei Technologies.

Источник изображения: Huawei Technologies

На мероприятии с амбициозным названием World Semiconductor Conference в китайском Нанкине операционный директор подразделения Huawei, отвечающего за продукты экосистемы Ascend и Kunpeng, привёл данные о превосходстве ускорителей Ascend 910B этой китайской марки над Nvidia A100 в ряде вычислительных тестов на величину до 20 %. При обучении больших языковых моделей китайские ускорители демонстрируют уровень эффективности, соответствующий 80 % от показателей Nvidia A100, по словам представителя Huawei. По его словам, нет большой разницы между использованием Nvidia A100 и Ascend 910B при обучении больших языковых моделей. Для местных клиентов это особенно актуально с учётом запрета властей США на поставку Nvidia A100 и более современных ускорителей американского происхождения в Китай.

В прошлом месяце представители Huawei заявили, что экосистема ускорителей Ascend уже охватывает 40 партнёров в сфере выпуска аппаратного обеспечения, 1600 партнёров в сфере разработки программного обеспечения и до 2900 приложений для работы с искусственным интеллектом. Среди крупных китайских клиентов Huawei в этой сфере упоминаются компании Tencent и Baidu, а также перспективные стартапы типа iFlyTek — все они уже приступили к закупкам ускорителей Ascend 910B. Вычислительные кластеры на базе таких ускорителей уже функционируют в 19 крупных городах КНР, в дальнейшем они появятся и в административных центрах крупных провинций.