AMD разрабатывает ИИ для имитации глобального освещения вместо трассировки лучей

В компании AMD разработали метод покадровой генерации изображений с применением искусственного интеллекта, который предназначен для замены глобального освещения в реальном времени. Новый подход, названный «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии», позволяет создать реалистичное освещение без использования ресурсоёмких технологий, таких как трассировка лучей.

Джек Хуинь, представляя набор технологий FSR Diamond, отметил, что в него входит также нейронный рендеринг следующего поколения и улучшенные алгоритмы масштабирования. Один из разработчиков, Сунге Ким, пояснил, что глобальное освещение играет ключевую роль в создании реалистичных сцен, однако оно является наиболее затратным процессом рендеринга.

Метод использует кадры с прямым освещением от источников к объектам как начальную подсказку для модели Stable Diffusion 2.1 Turbo. Обучение модели проводилось на синтетическом наборе данных, состоящем из 31 000 кадров интерьерных сцен, и включало 50-кратное прохождение данных на графических процессорах AMD Instinct MI210. Каждый кадр содержит от одного до тридцати источников света и динамические объекты, что позволяет модели адаптироваться к разнообразным условиям освещения.

Для повышения согласованности генерации используются разреженные сигналы освещения, яркости и геометрии. Временной VAE также применяют для выравнивания текущего кадра с предыдущими, что помогает избежать мерцаний и визуальных артефактов. Разработчики утверждают, что их метод восстанавливает мягкие тени и отражённое освещение, в отличие от других технологий, которые могут создавать искажения.

На видеокарте RTX 3090 модель демонстрирует скорость 0,29 секунды на кадр, что соответствует примерно 3,45 кадра в секунду при разрешении 512 x 512 пикселей и использовании 8-9 Гбайт видеопамяти. Тем не менее, это лишь этап глобального освещения, и до его полноценного внедрения в игры может пройти время.