“實時渲染”主要應用于游戲領域，它能夠將圖形數據實時轉化為極具真實感的 3D 畫面，是決定游戲體驗的關鍵因素之一。
對于實時渲染而言，最大的挑戰即是渲染速度。通常來講，渲染一屏幕的游戲場景的圖像，至少要在 1/24 秒以內，才不至于有 “翻 PPT”的感覺。
近日，英偉達發表一項最新研究成果將實時渲染速度提升了 2-3 個數量級。
而在渲染質量上，它也能夠更好地處理復雜樣式、比例的圖形數據，甚至實時同步環境光照可能形成的陰影。
Facebook 與 MIT研究團隊在 2019 年推出的 DeepSDF，是現有相關研究的最佳 3D 重建模型。
與之相比，無論是在渲染速度，還是質量方面，英偉達的最新研究還要更勝一籌。
橙色代表 DeepSDF 渲染效果
這項最新研究是一篇名為《神經幾何細節水平：隱式 3D 形狀的實時渲染》的論文，它是英偉達聯合多倫多大學、麥吉爾大學研究人員共同發表的研究成果，目前已提交至預印論文庫 arXiv。
論文中，研究人員表示，他們通過引入了一種高效的神經網絡表示方法，首次實現了基于 SDF 的 3D 高保真實時渲染，同時達到了最先進的幾何重建質量。更重要的是，與其他研究相比，它在渲染速度上提升了 2-3 個數量級。
SVO 編碼，渲染速度翻倍
SDF，即符號距離函數 Signed Distance Function，是計算機圖形學中一種有效的表示方法。
在現有研究中，通常是采用一個較大、具有固定尺寸的多層感知器(MLP)對 SDF 進行編碼，以近似代表具有隱式曲面的復雜圖形。然而，使用大型網絡進行實時渲染導致了昂貴的計算成本，因為它需要讓每個像素通過網絡地進行向前傳遞。
基于此，研究團隊提出了改用稀疏體素八叉樹(SVO)來對幾何形狀進行編碼的方法，它可以自適應地縮放不同的離散細節層次 LOD( Level of Detail )，并重建高度細節的幾何結構。
如圖，該方法在不同尺寸的幾何體之間平滑地插值，并占用合理內存進行實時渲染。
研究人員介紹，與現有研究一樣，他們同樣使用了一個小型 MLP 來實現球體跟蹤。并且受到經典曲面提取機制的啟發，使用了存儲距離值的正交和空間數據結構對歐幾里德空間進行精細離散化，以使簡單的線性基函數可以重建幾何體。
在這些工作中，分辨率或樹深度決定了 LOD(不同的 LOD 可以與 SDF 插值進行混合)。對此，研究人員使用了稀疏體素八叉樹(SVO)來離散空間，并存儲學習的特征向量，而不是符號距離值。
這樣做的好處是，它允許向量可以通過淺層 MLP 解碼成標量距離，在繼承經典方法(如 LOD)優點的同時，能夠進一步縮短樹深度。
在此基礎上，研究人員還開發了一種針對該體系結構的光線遍歷算法( Rray Traversal Algorithm)，實現了比 DeepSDF 快 100 倍的渲染速度。另外，雖然無法與神經體積繪制方法進行直接比較，但在類似的實驗環境中，其幀速度也要比 NeRF 快 500 倍，比 NSVF 快 50 倍。
實驗測試，渲染質量更精細
在質量上，研究人員將該方法與 DeepSDF、FFN、SIREN 以及 Neural Implicits(NI)四種算法進行了比較，它們在過度擬合 3D 幾何形狀方面均達到了現有研究的最佳性能。
以下為不同算法在 ShapeNet、Thingi10K 和 TurboSquid 三個數據集上進行 3D 重建的比較結果。
可以看到，從 LOD3 開始該方法表現出了更好的性能。在第三個 LOD 中，不僅存儲參數最小，而且推理參數在所有分辨率上都固定為 4737 個浮點值，與 FFN 相比減少了 99%，與 Neural Implicits 相比減少了 37%。
更重要的是，在低存儲和推理參數的情況下，該方法表現出了更好的重建質量。如下圖：
與 NI、FFN 相比，該方法能夠更加精準地渲染出圖像的細節，而且速度比 FFN 快 50 倍。
另外，在渲染質量上，研究人員還將該方法在 Shadertoy 的兩個特殊案例中進行了測試：Oldcar，它包含了一個高度非度量的有符號距離場;Mandelbulb，是一個只能用隱式曲面表示的遞歸分形結構。
這兩種 SDF 都是由數學表達式定義的，他們從中提取并采樣距離值，測試結果如下：
相比之下，只有該方法的架構才能準確地捕捉復雜示例的高頻細節。可以看出，FFN 和 SIREN 呈現的效果非常不理想，其原因可能是因為它們都只能擬合平滑距離場，無法處理不連續性和遞歸結構，以至于在渲染時很難突出顯示幾何細節。
總之，通過引入隱式 3D 圖形的表示形式 LOD，該方法可以達到最先進的幾何重建質量，同時允許更小占用內存下的實時渲染。不過，研究人員也坦言，該方法在大場景、或者非常薄、無體積的的物體上并不適用，這將是未來的一個研究方向。
但從當下來看，該方法代表了基于神經隱函數幾何學的一個重大進步，因為它是第一個基于 SDF 實現實時渲染和呈現的表示形式，未來有望應用到場景重建、機器人路徑規劃、交互式內容創建等多個現實場景中。
相關作者
論文的一作是來自多倫多大學的計算機博士 Towaki Takikawa。他曾在的英偉達的超大規模圖形處理研究(Hyperscale Graphics Research)小組工作。
主要研究方向集中在計算機視覺和計算機圖形學，對探索機器學習驅動 3D 幾何處理算法非常感興趣。另外在機器人相關項目的軟硬件方面也有一定的經驗。
另外參與本次研究的還有 Joey Litalien、Kangxue Yin、Karsten Kreis1、Charles Loop、Derek Nowrouzezahrai、Alec Jacobson、Morgan McGuire、Sanja Fidler 等八位學者。
其中 Kangxue Yin 是一位華人學者，他曾在中國科學院深圳先進技術研究院(SIAT)工作 3 年，之后考入西蒙弗雷澤大學(Simon Fraser University)大學并取得了博士學位。
