Илон Маск (Elon Musk) стремится стать лидером в гонке по созданию нейросетей следующего поколения. Для этого он планирует вдвое расширить ИИ-кластер xAI Colossus, который в настоящее время включает в себя 100 тыс. графических ускорителей Nvidia H100.
Источник изображения: servethehome.com
Эта новость пришла от Nvidia, а позднее сам Маск подтвердил её в своём аккаунте в соцсети X, написав, что ИИ-суперкомпьютер Colossus близок к тому, чтобы вместить 200 тыс. ускорителей Nvidia H100 и H200, которые разместятся в здании площадью более 7000 м² в Мемфисе, штат Теннесси. Суперкомпьютер Colossus примечателен тем, что сотрудники xAI сумели собрать его и ввести в эксплуатацию в крайне сжатые сроки. Обычно на создание суперкомпьютеров уходят годы, но в данном случае, по словам Маска, весь процесс от начала до конца занял 122 дня.
При этом принадлежащая миллиардеру xAI потратила на создание Colossus не менее $3 млрд, поскольку сейчас он состоит из 100 тыс. ускорителей Nvidia H100, которые обычно стоят в районе $30 тыс. за штуку. Теперь же бизнесмен намерен модернизировать кластер за счёт использования более производительных ускорителей H200, каждый из которых стоит около $40 тыс. В конечном счёте Маску придётся потратить ещё несколько миллиардов долларов, не говоря уже о затратах на электроэнергию для поддержания работоспособности кластера. Конечная цель бизнесмена состоит в том, чтобы к лету следующего года нарастить количество используемых ускорителей до 300 тыс. единиц, причём для дальнейшей модернизации планируется задействовать новейшие Nvidia Blackwell B200.
Маск делает большую ставку на ИИ-ускорители Nvidia с целью дальнейшего развития чат-бота Grok от xAI и других технологий на базе нейросетей. Ранее на этой неделе в интернете появилось видео, демонстрирующее ИИ-кластер xAI изнутри, в котором можно увидеть множество серверных стоек с ускорителями Nvidia.