Компьютерная графика и искусственный интеллект — это краеугольные камни технологий NVIDIA. Вместе они приближают авторов контента к созданию 3D-изображений кинематографического качества, которые создаются в реальном времени.
Этим летом на конференциях по графическим технологиям подразделение NVIDIA Research демонстрирует результаты работы по трассировке путей и созданию контента в реальном времени. Большая часть наработок использует искусственный интеллект.
Одна из целей — улучшить реалистичность визуализируемого освещения, проходящего через сложные материалы, такие как мех или туман. Другая — помочь художникам легче превращать свои творческие замыслы в реалистичные модели и сцены.
Исследования, представленные на этой неделе на SIGGRAPH 2021, Конференции по высокопроизводительной графике и Симпозиуме по рендерингу Eurographics, показывают, как графические процессоры NVIDIA RTX расширяют границы фотореалистичной графики в реальном времени.
Для рендеринга фотореалистичных изображений в реальном времени требуется точное моделирование света, имитирующее те же законы, которые управляют светом в физическом мире. Самый эффективный из известных до сих пор подходов — трассировка пути — требует огромных вычислительных ресурсов, но позволяет получать впечатляющие изображения.
Платформа NVIDIA RTX со специализированным аппаратным обеспечением для трассировки лучей и высокопроизводительными тензорными ядрами для эффективной оценки моделей ИИ специально создана для этой задачи. Тем не менее по-прежнему существуют ситуации, когда создание высококачественных визуализированных изображений остается сложной задачей.
Рассмотрим, например, тигра, бродящего по лесу.
Увидеть свет: трассировка пути в реальном времени
Чтобы сделать сцену полностью реалистичной, создатели должны визуализировать сложные световые эффекты, такие как отражения, тени и видимая дымка.
В сцене с лесом пятна солнечного света просачиваются сквозь листья на деревьях, и молекулы воды, взвешенные в туманном воздухе, превращают их в дымку. Рендеринг реалистичных изображений облаков, пыльных поверхностей или тумана в реальном времени раньше был невозможен. Но исследователи NVIDIA разработали методы, которые в 10 раз эффективнее вычисляют визуальный эффект этих явлений.
Сам тигр одновременно освещен солнечным светом и затенен деревьями. Когда он идет через лес, его отражение видно в пруду внизу. Для такого рода насыщенных изображений как с прямыми, так и с вторичными отражениями может потребоваться вычисление тысяч путей для каждого пикселя сцены.
Эта задача слишком ресурсоемкая для решения в реальном времени. Поэтому группа исследователей NVIDIA создала алгоритм выборки пути, который отбирает пути и отражения, больше всего влияющие на финальное изображение, и визуализирует изображения в 100+ раз быстрее, чем было возможно ранее.
ИИ для тигра: нейронное кэширование излучения
Другая группа исследователей NVIDIA совершила прорыв в области глобального освещения с помощью новой техники под названием нейронное кэширование излучения. В этом методе используются RT-ядра NVIDIA для трассировки лучей и тензорные ядра для ускорения ИИ для обучения крошечной нейронной сети в реальном времени при рендеринге динамической сцены.
Нейронная сеть изучает, как свет распределяется по сцене. Она обрабатывает более миллиарда запросов глобального освещения в секунду на графическом процессоре NVIDIA GeForce RTX 3090, отображая густой мех тигра с детализированным освещением, ранее недоступным в режиме реального времени.
Легкое создание сложных текстур
По мере развития алгоритмов рендеринга важно, чтобы доступный 3D-контент соответствовал сложности и разнообразию, на которые способны эти алгоритмы.
Исследователи NVIDIA разрабатывают различные методы, которые помогают создателям контента моделировать насыщенные и реалистичные трехмерные среды. Одно из направлений — материалы с высокой геометрической сложностью, которые сложно моделировать с использованием традиционных методов.
Детали ткани рубашки, ковра или стеблей травы часто намного меньше размера пикселя, что затрудняет их эффективное хранение и визуализацию. Исследователи NVIDIA решают эту задачу с помощью алгоритма NeRF-Tex, в котором нейронные сети используются для представления этих сложных материалов и кодирования их реакции на освещение.
Видеть лес как деревья
Сложные геометрические объекты также различаются по внешнему виду в зависимости от того, насколько они близки к зрителю. Один из примеров — дерево с листьями: в крупном плане видны детали ветвей, листьев и коры. Вдалеке оно покажется просто зеленой каплей.
Было бы пустой тратой времени отрисовывать детализированную кору и листья на дереве, которое находится на другом конце леса в сцене. Но в крупном плане модель должна быть максимально реалистичной.
Это классическая задача компьютерной графики, известная как уровень детализации. Художники часто сталкиваются с этой проблемой, вручную моделируя разные версии каждого 3D-объекта, чтобы обеспечить эффективный рендеринг.
Исследователи NVIDIA разработали новый подход, который автоматически генерирует упрощенные модели на основе метода обратного рендеринга. С его помощью можно создавать упрощенные модели, оптимизированные так, чтобы казаться неотличимыми от оригиналов, но с намного меньшей геометрической сложностью.