Как работает технология DLSS от Nvidia?

NVIDIA DLSS (сглаживание с алгоритмами глубокого обучения) — это революционная технология рендеринга на базе искусственного интеллекта, которая улучшает производительность и качество графики благодаря использованию специализированных тензорных ядер в видеокартах GeForce RTX. DLSS повышает частоту кадров и одновременно улучшает качество картинки в играх, используя глубокую нейросеть.

Это сокращение от Deep Learning Super Sampling или в переводе «супер-сэмплинг при помощи глубокого обучения». Что это значит доступным языком? На самом деле все просто — метод для сглаживания краёв на объектах, чтобы избежать «лесенок» и прочих неприятных артефактов. Данная технология сопоставима с привычным антиалиасингом, только вместо использования мощности самого GPU, DLSS полагается на ядра Tensor. Это отдельный блок в чипе RTX, который оптимизирован для работы с ИИ, нейросетями и глубоким обучением.

Особенно такая техника будет эффективна на разрешении 4K, где обычный антиалиасинг потребляет очень много ресурсов. В таких условиях DLSS позволяет выводить четкую картинку со сглаживанием краев, при этом сохраняя высокую частоту кадров.

Это часть области машинного обучения, связанная с алгоритмами, которые основаны на структуре и функционировании «мозга» искусственных нейронных сетей. Ключевое преимущество глубокого обучения по сравнению с прошлыми алгоритмами заключается в том, что чем больше данных доступно нейросети, тем лучше её производительность и точнее результат. Более того, такие нейросети способны учиться на собственных же трудах, стараясь максимизировать достижение поставленной цели.

В рамках видеокарт NVIDIA RTX 20 и 30-ой серии осуществляют процесс глубокого обучения ядра Tensor, которые специализируются на осуществлении вычислений с нейро-сетями.

NVIDIA пока не описала данный процесс, однако учитывая свойства глубокого обучения можно предположить следующее. NVIDIA тренирует нейросеть на основе двух наборов изображений — одни со сглаживанием, другие без. На основе этого нейросеть создает модель того, как работает сглаживание и может применять алгоритм самостоятельно. То есть, DLSS обучена добавлять и/или менять пиксели на изображении так, чтобы они создавали качественную картинку. И никакого антиалиасинга не требуется.