引用arketyp · 2021-05
“But I wouldn't rule out neural networks. They could still be used to derive efficient shader models that can be run in real time.”
认为神经网络仍可用来得到可实时运行的高效着色模型
用 CNN 从逐像素属性合成外观,学出各种屏幕空间着色效果
计算机视觉中 CNN 已能把 RGB 外观映射为位置、法线、反射率等属性,而屏幕空间着色则把逐像素属性转成 RGB 外观,实现环境光遮蔽、间接光、散射、景深、运动模糊和抗锯齿等效果。论文考虑这个“对角”问题:用 CNN 从给定的逐像素属性合成外观。得到的 Deep Shading 能以有竞争力的质量和速度模拟多种屏幕空间效果,且不是由专家编程,而是从示例图像中学出来的。
有人在讨论实时渲染时说不该排除神经网络,它们仍可用来推导能实时运行的高效着色模型,并以这篇论文为例。
先看用 CNN 做逐像素图像映射的超分辨率,再看用感知损失训练前馈网络,最后读把同类网络用于屏幕空间着色。
前馈网络配合特征损失的图像变换训练思路,可与 Deep Shading 的训练对照
读看前馈变换网络与感知损失的结构,不必深究风格迁移细节
用 CNN 把逐像素属性映射为外观,学出多种屏幕空间着色效果
读看输入的屏幕空间属性缓冲和网络结构,以及各种着色效果的实验
“But I wouldn't rule out neural networks. They could still be used to derive efficient shader models that can be run in real time.”