Varjo對日本墓園進行攝影測量掃描，在VR中展示其數(shù)字孿生

　　(映維網(wǎng) 2019年08月05日)攝影測量是一種利用真實世界對象或空間的多張照片來創(chuàng)作數(shù)字asset的過程。攝影測量不僅得到了游戲世界的青睞，同時吸引了工業(yè)市場的關(guān)注。

　　例如，通過攝影測量生成的點云已成為建筑，工程和施工(AEC)工作流程中不可或缺的一部分。在汽車，運輸和制造業(yè)中，通過利用攝影測量來捕獲物理原型并將其與數(shù)字CAD模型進行比較，這可以確保視覺與現(xiàn)實相匹配。

　　為了更好地模擬現(xiàn)實環(huán)境并展示攝影測量在專業(yè)用途方面的潛力，Varjo團隊最近對日本最大的墓地進行攝影測量掃描，并在VR中展示其數(shù)字孿生。

　　利用上圖所示的Varjo VR-1，我們可以在VR中以人眼分辨率探索建筑物，建筑工地或其他空間的最精細細節(jié)。20/20分辨率擴展了攝影測量VR在工業(yè)方面的用例。

　　為了說明動態(tài)人眼分辨率的VR攝影測量的潛力，我們制作了高野山大靈園的動態(tài)演示內(nèi)容。在本文中，我們將解釋我們是如何完成這個項目。

　　1. 選擇攝影測量位置

　　攝影測量是從選擇合適的捕獲位置或目標對象開始。并非所有位置或?qū)ο蠖歼m合攝影測量。我們選擇了日本高野山的墓地。因為除了在演示中提供大量的細節(jié)外，我們同時希望納入具有重要文化意義的元素。由于這是戶外捕獲，所以條件控制非常具有挑戰(zhàn)性。但對Varjo而言，我們喜歡挑戰(zhàn)。

　　這個項目的關(guān)鍵挑戰(zhàn)是：

　　運動：高野山大靈園非常巨大且古老。令人驚訝的是，每天都有大量的游客前來參拜，而位于三腳架的攝影機非常吸引人。但在進行攝影測量時，你捕捉的場景應(yīng)該是完全靜止的，沒有任何移動。如果你希望捕獲大面積內(nèi)容，這可能會造成問題，因為如果對象本身沒有移動，也許光源，太陽會產(chǎn)生移動。如果拍攝需要數(shù)小時的時間，陰影可能會發(fā)生很大變化。

　　天氣：當你進行戶外捕捉時，天氣應(yīng)該選擇陰天。當然，捕獲期間或捕獲之前不可下雨。濕表面的外觀與干表面不同，整個拍攝過程中的場景應(yīng)該看起來一樣。

　　地面：墓地的地面非常難以捕獲，因為它充滿了枝條，在走動時會它們會移動。

　　在拍攝攝影測量場景的照片時，一般規(guī)則是每張照片應(yīng)與相鄰照片重疊至少30%或更多。主要目標是從盡可能多的角度拍攝目標照片并保持圖像重疊。

　　對于在高野山大靈園捕獲的區(qū)域，其掃描方式與掃描房間時相似。在這個場景中，我們拍攝了大約2500張照片。

　　2. 用Unity構(gòu)建動態(tài)的3D場景

　　攝影測量提供了逼真的沉浸感，但靜態(tài)照明通常會縮小用例。我們希望使用動態(tài)照明來模擬真實的環(huán)境。Unity為構(gòu)建和渲染高度詳細的場景提供了一個優(yōu)秀的平臺，這使得工作流程的自動化變得容易起來。

　　我們同時使用了De-Lighting工具和Unity Asset Store來幫助我們在需要時填補空白，例如《Book of The Dead》中的一些樹木和石頭。

　　在拍攝時，我們需要不斷進行文件傳輸，這樣我們就可以節(jié)省3D構(gòu)建的時間。首先，我們使用一款名為Reality Capture的軟件來創(chuàng)建照片的3D場景。

　　3. 網(wǎng)格處理和UV

　　我們從Reality Capture導(dǎo)出3D場景，其帶有單個含有1000萬個多邊形的網(wǎng)格，以及一組98×8K紋理。

　　在Houdini中，Voronoi Fracture將網(wǎng)格分成更小，更易管理的片段。然后我們使用共享UV生成不同的LOD。這樣做是為了避免LOD之間的紋理彈出。

　　這樣，紋理對Unity而言就足夠小，而我們可以啟用Umbra遮擋剔除。當片段較小時，產(chǎn)生UV同樣會更加輕松。

　　創(chuàng)建著色器是為了烘焙不同的紋理。Unity的De-Lighting工具至少需要反照率，環(huán)境光遮擋，法線，彎曲法線和位置貼圖。大多數(shù)幀緩沖器都可以直接進行烘培，但彎曲法線不是那么明顯。幸運的是，彎曲法線是未擊中遮擋光線的方向，而有一個名為occlusion()的簡單VEX函數(shù)可用于輸出彎曲法線。

　　4. De-Lighting

　　我們創(chuàng)建了一個Python腳本來自動運行紋理。

　　如果掃描有太多顏色變化，則De-Lighting無法估計環(huán)境探測。 所以我們決定采用混合方法，在自動De-Lighting和傳統(tǒng)的基于圖像的照明陰影去除之間進行混合。

　　我們創(chuàng)建了一個Unity Asset后處理腳本以導(dǎo)入已處理的模型。它負責了材質(zhì)創(chuàng)建和紋理分配。共有128個4K紋理被處理，烘焙和去光。

　　5. Varjo VR-1和Unity：易于集成

　　導(dǎo)入場景后，只需將VarjoUser Prefab拖到場景即可。只需一瞬間，VR-1就可以看到場景，而我們可以根據(jù)我們的需求開始調(diào)整它。

　　Unity Asset Enviro用于白天-夜間循環(huán)，而實時全局照明烘焙到場景之中。生成的網(wǎng)格UV用于全局照明，可避免長預(yù)處理時間。