реклама
Новости Software

Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

Nvidia сообщила, что дополнительно увеличила ИИ-производительность своих видеокарт GeForce RTX и платформ RTX AI PC с выпуском последнего драйвера версии GeForce Game Ready 555.85 WHQL. В ходе конференции Microsoft Build компания Nvidia анонсировала ряд новых оптимизаций производительности для алгоритмов искусственного интеллекта, которые теперь доступны в рамках экосистемы RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

 Источник изображений: Nvidia

Источник изображений: Nvidia

Nvidia отмечает, что последние оптимизации нацелены на ускорение работы ряда больших языковых моделей (LLM) использующихся генеративным ИИ. Новый драйвер Nvidia версии 555 обеспечивает видеокартам GeForce RTX и платформам RTX AI PC трёхкратный прирост ИИ-производительности при работе с фреймворками ONNX Runtime (ORT) и DirectML. Оба инструмента используются для запуска ИИ-моделей в среде операционной системы Windows.

Кроме того, новый драйвер увеличил производительность программного интерфейса WebNN для DirectML, который используется веб-разработчиками для размещения новых ИИ-моделей. Nvidia сообщает, что сотрудничает с Microsoft над дальнейшим повышением производительности графических процессоров RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые предлагаются свежим драйвером Nvidia R555 для графических процессоров GeForce RTX и ПК с RTX:

  • поддержка метакоманды DQ-GEMM для обработки квантования INT4 только по весу для LLM;
  • новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3;
  • механизмы группового и многозапросного внимания, а также внимания скользящего окна для поддержки Mistral;
  • обновления KV для улучшения внимания;
  • поддержка GEMM-тензоров, не кратных 8, для улучшения производительности контекстной фазы.

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, новый драйвер Nvidia приводит к приросту производительности по всем направлениям, как для типов данных INT4, так и для FP16. Благодаря методам оптимизации, добавленным в это обновление, производительность больших языковых моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз.

Nvidia также напоминает, что преимущество экосистемы RTX заключается в использовании возможностей воспроизводительных тензорных ядер. На их основе работают DLSS Super Resolution, Nvidia Ace, RTX Remix, Omniverse, Broadcast, RTX Video и другие технологии. Кроме того, для использования тензорных ядер в ускорении работы ИИ компания предлагает комплекты разработчиков TensorRT, Maxine и RTX Video.

В своём пресс-релизе Nvidia сообщает, что её GPU обеспечивают ИИ-производительность до 1300 TOPS (триллионов операций в секунду), что гораздо выше возможностей любых других конкурентных решений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Российские разработчики повысили цены на ПО в преддверии роста налогов 22 мин.
Режиссёр Elden Ring считает, что снижение сложности «сломало бы игру», но извинился за боссов из Shadow of the Erdtree 33 мин.
Стоимость отечественного ПО в России растёт и будет расти 2 ч.
Издатель Final Fantasy передумал «агрессивно» применять генеративный ИИ в разработке игр 2 ч.
Евросоюз обвинил Apple в нарушении Закона о цифровых рынках — штраф может составить до 10 % глобальной выручки 3 ч.
Долгожданное дополнение Shadow of the Erdtree к Elden Ring стартовало в Steam со «смешанными» отзывами 5 ч.
«Базальт СПО» приглашает на ежегодную конференцию «Свободное программное обеспечение в высшей школе» 28–30 июня 5 ч.
Apple вела переговоры об интеграции ИИ-моделей Meta в свои сервисы 6 ч.
Мошенники взломали рэпера 50 Cent, чтобы нажиться на мем-коине $GUNIT 20 ч.
Huawei выпустила бета-версию операционной системы HarmonyOS NEXT, в которой от Android ничего не осталось 23 ч.
«Казахтелеком» и AzerTelecom создали СП для прокладки интернет-кабеля по дну Каспийского моря 54 мин.
Honor представила смартфон Play 60 Plus cо Snapdragon 4 Gen 2, экраном 120 Гц и батареей на 6000 мА·ч 3 ч.
DPU-разработчики Kalray и Pliops ведут переговоры о слиянии 3 ч.
SK hynix похвасталась успехами в разработке 3D DRAM — выход годной продукции на экспериментальной линии превысил 50 % 5 ч.
Supermicro наводнит рынок серверными решениями с СЖО 5 ч.
Новая статья: Обзор ноутбука HUAWEI MateBook 14 2024 (FLMH-W5611T): полное обновление 7 ч.
Главным препятствием для поддержки Apple Intelligence на старых iPhone станет именно объём памяти 8 ч.
Nvidia будет поставлять ИИ-ускорители на Ближнем Востоке в условиях санкций США 8 ч.
Процессоры M4 успеют прописаться в линейке Apple Mac до конца следующего года 9 ч.
Apple возобновила работу над лёгкими очками дополненной реальности и не отказывается от выпуска Vision Pro второго поколения 10 ч.