В процессорах Ryzen 7000 (Phoenix) компания AMD впервые представила встроенные ИИ-движки или NPU Xilinx (XDNA) с производительностью до 10 TOPS. За ним последовали Ryzen 8000 (Hawk Point) с производительностью NPU до 16 TOPS. Но лишь после анонса серии Ryzen AI 300 Strix Point (XDNA2) с производительностью 50 TOPS, AMD представила специально разработанный компилятор LLVM с открытым исходным кодом под названием Peano.
Источник изображения: AMD
Проект Peano должен подтолкнуть развитие приложений для AMD NPU, которые смогут использовать эти новые процессоры для ускорения больших языковых моделей. В частности, AMD продемонстрировала, как использовать системы на базе Ryzen и Radeon с такими инструментами, как LM Studio. Компания также представила несколько примеров использования процессоров Ryzen AI для разработки программного обеспечения, хотя они и не предназначены для конечных пользователей.
Важность встроенных NPU будет продолжать расти: AMD, Intel и Qualcomm вступили в гонку за самый быстрый ИИ-ускоритель. AMD приходится догонять, так как Intel быстрее выпустила своё ПО для NPU. В ядре Linux инструкции для Meteor Lake NPU появились ещё до выпуска новой архитектуры, а исходный код плагина NPU доступен на платформе OpenVINO. Поскольку обе компании предлагают конечным пользователям компиляторы и ПО с открытым исходным кодом, разработчикам будет проще предлагать межвендорные решения. Информация о подобных разработках для серии Snapdragon X отсутствует.
«От имени AMD я рад объявить об открытии исходного кода серверной части LLVM для процессоров AMD/Xilinx AI Engine. Эти процессоры существуют во многих устройствах, включая SoC Ryzen AI. В настоящее время репозиторий ориентирован на поддержку архитектуры AIE2, реализованной ускорителями XDNA в устройствах Phoenix и Hawk Point. Обратите внимание, что эти ускорители включают в себя массив процессоров, тогда как серверная часть LLVM поддерживает только один процессор. Поддержка устройств в целом доступна в инструментах с открытым исходным кодом на основе MLIR» — прокомментировал выпуск компилятора главный инженер AMD/Xilinx Стивен Нойендорфер (Stephen Neuendorffer).