Компания AMD опубликовала результаты собственных тестов ИИ-производительности мобильного процессора Ryzen 7 7840U с номинальным энергопотреблением 15 Вт и конкурирующего Intel Core Ultra 7 155H с TDP 28 Вт при работе с большими языковыми моделями (LLM) Llama 2 и Mistral Instruct 7B. Сравнение оказалось не в пользу чипа Intel. Несмотря на меньший показатель энергопотребления процессор AMD оказался эффективнее.

Источник изображений: AMD

Для сравнения двух чипов компания AMD установила на ноутбуки с конкурирующими процессорами приложение LM Studio для работы с различными языковыми моделями. Перед последними были поставлены задачи написать историю, написать скрипт игры на движке Unity, а также написать стихотворение. Для выполнения задач использовались ИИ-модели Llama 2 7B от Meta✴ и Mistral Instruct 7B с поддержкой 7 млрд параметров. Последняя является разработкой выходцев из Meta✴ и компании DeepMind.

За показатель ИИ-производительности AMD взяла время с момента отправки запроса до начала выдачи ответа (Time to first token), а также количество выданных токенов в секунду. Компания напомнила, что для решения ИИ-задач процессоры Ryzen могут использовать три типа ядер: специальный ИИ-движок NPU, встроенное графическое ядро RDNA 3, а также вычислительные ядра Zen 4. По словам AMD, победным результатам Ryzen 7 7840U против конкурента в указанных задачах также способствовала поддержка её чипом инструкций AVX512 и VNNI. Ранее Intel также обеспечивала поддержку этих инструкций в потребительских чипах, но после отказалась от этого.

На фоне публикации внутренних тестов AMD также сообщила в своём официальном блоге, как запустить инструмент LM Studio для работы с различными языковыми моделями на ПК с процессорами Ryzen AI или ПК с видеокартами Radeon RX 7000, расписав всё в виде подробного руководства.

Как пишет портал Tom’s Hardware, Intel хорошо осведомлена об относительно невысокой ИИ-производительности её семейства процессоров Meteor Lake. Именно поэтому компания уже заявила, что будущие процессоры Arrow Lake и Lunar Lake, выпуск которых ожидается во второй половине этого года, предложат втрое больше ИИ-быстродействия для GPU и NPU.

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Компания AMD сообщила о выпуске серии мобильных процессоров для ноутбуков Ryzen 7040HS (Phoenix) с ядрами Zen 4 и графикой RDNA 3. Указанные чипы были анонсированы ещё на выставке CES 2023 в январе. Начало поставок этих процессоров ожидалось ещё в марте, однако AMD несколько раз его переносила — сначала на апрель, а затем на май. В конечном итоге новинки добрались до рынка только в июне.

Источник изображений: AMD

Серия Ryzen 7040HS состоит всего из трёх моделей: восьмиядерного и 16-поточного Ryzen 9 7940HS с частотой до 5,2 ГГц, оснащённого 12 исполнительными блоками встроенной графики Radeon 780M, восьмиядерного и 16-поточного Ryzen 7 7840HS с частотой до 5,1 ГГц и графикой Radeon 760M на базе шести исполнительных блоков, а также шестиядерного и 12-поточного Ryzen 5 7640HS с частотой до 5,0 ГГц и графикой Radeon 760M. Все три процессора производятся с использованием 4-нм техпроцесса и имеют конфигурируемый TDP от 34 до 54 Вт.

Как и флагманские мобильные процессоры серии Ryzen 7045HX (Dragon Range) чипы серии Ryzen 7040HS поддерживают двухканальную оперативную память DDR5 и LPDDR5. Они также имеют поддержку интерфейса PCIe 4.0 для видеокарт и NVMe-накопителей. Поскольку новинки оснащены встроенной графикой RDNA 3, для них также заявляется поддержка интерфейсов DisplayPort 2.1 и HDMI 2.1a, как у настольных видеокарт на той же архитектуре. Производитель также указывает для них наличие двойного аппаратного медиаускорителя для кодирования и декодирования формата AV1. Ноутбуки на базе процессоров Ryzen 7040HS смогут обеспечить до 9 часов автономной работы в режиме воспроизведения видео без подзарядки.

Ключевой особенностью всех трёх моделей процессоров AMD Phoenix является их оснащение ИИ-ускорителем Ryzen AI Engine, предназначенным для запуска и ускорения работы приложений, полагающихся на алгоритмы ИИ. С помощью Ryzen AI ускоряется работа редакторов изображений, добавляются новые функции вроде замены фона к сервисам видеоконференций, поддерживается работа виртуальных ИИ-помощников Microsoft Office и других ИИ-функций, которые в ближайшие месяцы будут реализованы в составе операционной системы Windows 11.

В настоящий момент ускоритель Ryzen AI поддерживает ИИ-модели ONNX и TensorFlow, однако к четвёртому кварталу этого года AMD надеется на появление поддержки PyTorch. Компания также разрабатывает набор API AMD Unified AI Stack, который позволит разработчикам программного обеспечения не только воспользоваться преимуществами ускорителя Ryzen AI, но также возможностями ISA-команд, появившихся в процессорах на архитектуре Zen 4 (AVX-512, bfloat16, VNNI), а также блоками ИИ-ускорения встроенной графики RDNA 3.

В основе Ryzen AI используется архитектура XDNA, разработанная Xilinx. Этот компонент представляет собой сеть так называемых плиток AI Engine (AIE-плиток), каждая из которых обладает собственным набором памяти, а также шиной, с помощью которой плитки объединяются друг с другом. Всего в ускорителе Ryzen AI присутствуют 20 подобных плиток и шесть плиток памяти, что позволяет минимизировать обращение Ryzen AI к системной памяти DRAM.

AIE-плитки поддерживают создание и обучение ИИ-сетей RNN, CNN и LSTM. А среди поддерживаемых типов операций с данными указываются Int8, Int16, Int32 и bfloat16. Работа каждой AIE-плитки может быть синхронизирована для экономии энергии. Ускоритель Ryzen AI поддерживает до четырёх одновременных потоков. Иными словами, он может одновременно ускорять и обрабатывать до четырёх различных приложений и задач. Производительность Ryzen AI заявляется на уровне до 10 AI TOPS.

Что касается производительности процессоров Ryzen 7040HS в целом, то AMD заявляет, что старший Ryzen 9 7940HS от 6 до 41 % быстрее Intel Core i9-13900H серии Raptor Lake в зависимости от того или иного теста. В список последних вошли PCMark Essentials, 3DMark FireStrike (CPU), 3DS Max, приложения для создания цифрового контента, а также кодирование MP3 с помощью LAME. В реальных задачах (играх) ноутбук, оснащённый дискретной видеокартой GeForce RTX 4070 и процессором Ryzen 9 7940HS, оказывается до 13 % быстрее модели лэптопа с такой же видеокартой, но на базе Core i9-13900H. Хотя местами может и уступать до 2 %.

AMD также сравнила производительность Ryzen 9 7940HS с процессором Apple M2 Pro, использующимся в последнем поколении ноутбуков MacBook Pro. Производительность чипа «красных» оказывается от 1 до 11 % выше в таких приложениях как Blender, Cinebench R23, Photoshop, Cinebench R23 1T и Passmark CPUmark.

Встроенная графика Radeon 780M в свою очередь демонстрирует в играх с разрешением 1080p и низких настройках качества изображения производительность на уровне 45–75 кадров в секунду.

AMD обещает появление в продаже множества различных игровых и не только ноутбуков на базе процессоров серии Ryzen 7040HS в ближайшее время. Одной из первых таких моделей сегодня стал Razer Blade 14 версии 2023 года.