Разработчики из NVIDIA предложили сжимать текстуры с помощью ИИ — в 4 раза выше разрешение при меньшем на 30 % потреблении памяти

В статье под названием «Нейронное сжатие текстур материалов с произвольным доступом» NVIDIA представляет новый алгоритм сжатия текстур Neural Texture Compression (NTC). Алгоритм является ответом на растущие требования к объёму видеопамяти, которой теперь нужно хранить текстуры высокого разрешения, а также множество свойств и атрибутов, связанных с ними, для визуализации материалов с высокой точностью и естественным видом.

Источник изображений: NVIDIA

В NVIDIA говорят, что NTC обеспечивает в 4 раза более высокое разрешение (в 16 раз больше текселей), чем блочное сжатие, которое представляет собой стандартное сжатие текстур с помощью графического процессора, доступное во многих форматах. Алгоритм NVIDIA представляет текстуры в виде тензоров (трех измерений), но без каких-либо допущений, как при блочном сжатии (BC). Единственное, какие допуски делает NTC, это то, что каждая текстура имеет одинаковый размер.

Произвольный и локальный доступ является важной особенностью NTC. Для сжатия текстур с помощью графического процессора крайне важно, чтобы к ним можно было получить доступ с небольшими затратами без задержки, даже при применении высоких коэффициентов сжатия. Новый подход направлен на сжатие множества каналов и MIP-карт (текстур разных размеров) вместе, благодаря чему качество и битрейт будут выше, чем в форматах JPEG XL или AVIF. В отличие от обычных алгоритмов блочного сжатия, для которых требуются специальные блоки, алгоритм NTC использует методы умножения матриц, которые выполняются самими современными графическими процессорами. Согласно статье, это делает алгоритм NTC более практичным и функциональным из-за меньших ограничений на диск и память.

Согласно документу, нейронные текстуры могут отображаться в режиме реального времени с использованием до 16 раз большего количества текселей, чем в подходе BC, а скорость рендеринга 4K составляет 1,15 мс (измерено на RTX 4090). Более подробная информация о исследовании будет представлена на SIGGRAPH 2023 6 августа.