ИИ-ускорители получат терабайты памяти: SanDisk задумала заменить HBM сверхбыстрой флеш-памятью HBF

SanDisk скоро обретёт независимость от Western Digital, и у неё большие планы на будущее. Компания, в частности, намеревается заняться развитием технологии HBF (High Bandwidth Flash), которая обеспечит ускорители искусственного интеллекта значительно бо́льшим объёмом памяти, чем позволяет применяемая сегодня HBM (High Bandwidth Memory).

Идея может показаться абсурдной, потому что флеш-память NAND традиционно значительно медленнее, чем DRAM, которая лежит в основе HBM. HBF призвана решить эту проблему и стать оптимальным решением при задачах, связанных с запуском уже обученных моделей (инференсом), а не обучением нейросетей. Со сменой поколений HBM увеличивается и доступный объём памяти — сегодня ускорители от AMD и Nvidia предлагают по 192 Гбайт. SanDisk уверяет, что HBF поможет увеличить этот показатель в восемь, а то и в 16 раз при сопоставимой цене.

Компания предлагает два сценария в сравнении с традиционной конфигурацией с восемью стеками HBM общим объёмом 192 Гбайт. Первый вариант — шесть чипов HBF и два HBM. В этом случае общий объём памяти вырастает до 3120 Гбайт или около 3 Тбайт. Во втором сценарии рассматривается полная замена HBM на HBF, что даст ускорителю 4096 Гбайт (4 Тбайт) памяти. В такой объём можно целиком поместить большую языковую модель Frontier с 1,8 трлн параметров и размером 3,6 Тбайт. В приведённых примерах ёмкость одного стека HBM принята за 24 Гбайт, а HBF — 512 Гбайт (более чем в 21 раз выше), потому что у флеш-памяти NAND более высокая плотность.

На схеме HBF кристаллы флеш-памяти NAND устанавливаются друг на друга и размещаются над логическим кристаллом. Стек HBF, как и HBM, устанавливается на интерпозере рядом с графическим, центральным или тензорным процессором в зависимости от того, где требуется память; интерфейс потребует лишь «незначительных изменений протокола». Главное, что HBF, по версии SanDisk, предлагает ту же пропускную способность, что и HBM.

В традиционном варианте NAND действительно приближается к DRAM по пропускной способности, но отчаянно проигрывает по времени доступа. Эту проблему в SanDisk решили специальной архитектурой NAND, поделив компонент на несколько областей с бо́льшим количеством линий данных, что означает ускорение доступа и более высокую производительность.

Архитектуру HBF разработали в компании в прошлом году под «влиянием крупных игроков в области ИИ». Далее будет сформирован технический консультативный совет, в который войдут партнёры компании и лидеры отрасли; затем появится открытый стандарт. В 2019 году японские учёные предложили концепцию HBN (High Bandwidth NAND), и не исключено, что у HBF есть с ней нечто общее. SanDisk тем временем уже подготовила «дорожную карту», в которой описываются новые поколения памяти этого типа — увеличиваться будут и ёмкость, и производительность.