將神經渲染向前移 性能提升 65%
【高手 🤪】老黃沒做的,民間高手們先做到了!近期一項名為 neural-upstream 的 DLSS 5 開源工具,透過將 NVIDIA DLSS 的神經渲染(Neural Rendering)由流程最後端,搬移至遊戲影像升頻(Upscaler)之前執行,成功降低 DLSS 5 的運算成本開銷,令性能提升約 65%,並已在多款遊戲與基準測試中完成驗證。
據 neural-upstream 開發者 matiasLombo 表示,NVIDIA 官方 DLSS 5 的完整渲染管線順序,是先進行原始渲染,再將遊戲影像升頻處理,之後才交給 DLSS 5 模型讀取畫面資訊,在真實的渲染幀(Real Frame)上利用 AI 補齊荷里活級的光影細節,例如皮膚的「次表面散射(SSS)」、精細的接觸陰影以及材質紋理。
這樣做等同 DLSS 5 需要以升頻後的畫面進行運算,但 neural-upstream 專案透過攔截 NVSDK_NGX_D3D12_EvaluateFeature 呼叫,在遊戲準備將色彩緩衝區(Colour Buffer)交給 DLSS 進行升頻前,便先建立神經渲染(DLSSNR)特徵並完成運算,隨後再將結果重新綁定至後續流程。
舉例來說,若遊戲畫面是由 1080p 透過 DLSS 升頻至 4K,使用 neural-upstream 後,DLSS 5 便會直接在 1080p 原始渲染解像度上執行而非 4K,所需運算成本大幅降低,同時亦不影響後續升頻器的正常運作。
為了減少將 DLSS 5 神經渲染向前移所帶來的影響,該工具針對 HDR 場景線性緩衝區進行了特殊處理。遊戲輸出的 HDR 畫面會先經過標準化與肩部曲線(Shoulder Curve)滾降處理,再交由神經網絡辨識;運算完成後,系統會把神經網絡的計算結果轉換為每像素的亮度增益(Luminance Gain),並套用回原始影像中。這種設計不僅完整保留了遊戲原本的 HDR 動態範圍,亦確保畫面的色調與飽和度維持原貌。
根據開發者實測顯示,該專案目前已成功在《Assassin's Creed Shadows》中,以 GeForce RTX 4080 執行 4K + DLSS Performance + RT High 設定,性能由 31fps 提升至約 51fps,增幅高達 64.5%。目前該專案已採用 MIT 授權條款於 GitHub 開源釋出,大家有興趣不妨一試。
資料來源: