NeRF的基本概念及工作原理

    神經輻射場 (NeRF) 是一個完全連接的神經網絡，可以基于部分 2D 圖像集生成復雜 3D 場景的新視圖。它被訓練使用渲染損失來重現(xiàn)場景的輸入視圖。它的工作原理是獲取代表場景的輸入圖像并在它們之間進行插值以渲染一個完整的場景。NeRF 是一種為合成數(shù)據(jù)生成圖像的高效方法。

訓練 NeRF 網絡直接從觀察方向和空間位置（5D 輸入）映射到不透明度和顏色（4D 輸出），使用體積渲染來渲染新視圖。 NeRF 是一種計算密集型算法，處理復雜場景可能需要數(shù)小時或數(shù)天。但是，可以使用新的算法來顯著提高性能。

NeRF 和神經渲染的基本概念

    為了理解 NeRF 的工作原理，讓我們介紹一些基本概念。

    Rendering：渲染是從 3D 模型創(chuàng)建圖像的過程。該模型將包含紋理、陰影、陰影、照明和視點等特征，而渲染引擎的作用是處理這些特征以創(chuàng)建逼真的圖像。三種常見的渲染算法是（1）光柵化，它根據(jù)模型中的信息以幾何方式投影對象，沒有光學效果；（2）光線投射，它使用反射的基本光學定律從特定角度計算圖像；（3）和光線追蹤，它使用蒙特卡洛技術在更短的時間內獲得逼真的圖像。光線追蹤用于提高 NVIDIA GPU 的渲染性能。

    Volume Rendering：體積渲染使您能夠創(chuàng)建 3D 離散采樣數(shù)據(jù)集的 2D 投影。對于給定的攝像機位置，體繪制算法為空間中的每個體素獲取 RGBα（紅色、綠色、藍色和 Alpha 通道），來自攝像機的光線通過這些體素投射。 RGBα 顏色轉換為 RGB 顏色并記錄在 2D 圖像的相應像素中。對每個像素重復該過程，直到渲染整個 2D 圖像。

    ViewSyntheis：視圖合成與體渲染相反——它涉及從一系列 2D 圖像創(chuàng)建 3D 視圖。這可以使用一系列從多個角度顯示對象的照片來完成，創(chuàng)建對象的半球平面圖，并將每個圖像放置在對象周圍的適當位置。視圖合成函數(shù)嘗試在給定描述對象不同視角的一系列圖像的情況下預測深度。

NeRF如何工作

    NeRF 使用一組稀疏的輸入視圖來優(yōu)化連續(xù)的體積場景函數(shù)。這種優(yōu)化的結果是能夠產生復雜場景的新視圖。您可以為 NeRF 提供輸入作為一組靜態(tài)圖像。連續(xù)場景是具有以下特征的 5D 矢量值函數(shù)：

    它的輸入是 3D 位置 x = (x; y; z) 和 2D 觀察方向 (θ; Φ)

    它的輸出是顏色 c = (r; g; b) 和體積密度 (α)。

    以下是從特定角度生成 NeRF 的方法：

    生成一組采樣的 3D 點 — 通過使相機光線穿過場景。

    通過將具有相應 2D 觀察方向的采樣點輸入到神經網絡中，生成一組密度和顏色的輸出。

    通過使用經典的體積渲染技術，將密度和顏色累積到 2D 圖像中。