眼球追蹤即將改變VR游戲的八大原因

　　在VR場(chǎng)景中，眼動(dòng)追蹤技術(shù)可以快速精確的測(cè)量用戶(hù)注視的方向，其常常與注視點(diǎn)渲染技術(shù)相關(guān)聯(lián)，用以降低VR對(duì)硬件性能的消耗。雖然這兩項(xiàng)技術(shù)相得益彰，但眼動(dòng)追蹤還能在VR中發(fā)揮更多的應(yīng)用。

　　多年來(lái)眼動(dòng)追蹤技術(shù)，一直被認(rèn)為是一項(xiàng)遙不可及的技術(shù)，但從目前整個(gè)行業(yè)發(fā)展進(jìn)展來(lái)看，它在精度、延遲、健壯性和成本方面都取得了快速的發(fā)展，開(kāi)發(fā)者正在得到越來(lái)越多的硬件支持。

　　目前，像Tobii這樣的眼球追蹤方案提供商已經(jīng)推出多款眼球追蹤設(shè)備，高通的VRDK開(kāi)發(fā)者頭顯也加入了Tobii的解決方案，七鑫易維已在出貨適用于Vive頭顯的aGlass眼動(dòng)追蹤開(kāi)發(fā)套件，Oculus近期則展示了一款眼動(dòng)追蹤VR原型機(jī)，甚至連蘋(píng)果公司也參與其中，之前報(bào)道其已收購(gòu)知名眼球追蹤領(lǐng)域公司SMI，并已經(jīng)計(jì)劃實(shí)施該技術(shù)相關(guān)的專(zhuān)利。

　　憑借這一勢(shì)頭，我們應(yīng)該能在短短幾年時(shí)間內(nèi)看到眼動(dòng)跟蹤成為消費(fèi)級(jí)者VR頭顯的標(biāo)準(zhǔn)組成部分。

　　注視點(diǎn)渲染（或稱(chēng)中心凹形渲染）

　　注視點(diǎn)渲染技術(shù)的誕生旨在降低渲染VR場(chǎng)景所需的GPU計(jì)算能力。其英文名Foveated rendering源自‘fovea’一詞，它是人類(lèi)視網(wǎng)膜中心的一個(gè)小窩(視網(wǎng)膜中央窩)，里面密集的排布著光感細(xì)胞，為我們的視野中心提供高分辨率的視覺(jué)。與此同時(shí)，我們的視野四周其實(shí)非常不善于捕捉細(xì)節(jié)和顏色，而是更適合觀測(cè)運(yùn)動(dòng)。

　　在人類(lèi)視覺(jué)中高分辨率的區(qū)域其實(shí)非常小，只有視野中心幾度的范圍。視網(wǎng)膜的中央窩和其他部分的分辨能力差異非常大，如果視網(wǎng)膜中央窩，你連書(shū)上的文字都看不清。人們一直以來(lái)都高估了自己視覺(jué)能力，其原因是大腦做了大量的無(wú)意識(shí)處理。

　　注視點(diǎn)渲染的目的便是利用我們視覺(jué)上的這一特性，將高分辨率的虛擬場(chǎng)景呈現(xiàn)在視網(wǎng)膜中央窩所看到的區(qū)域中，而在周邊視野中則可以大大降低場(chǎng)景的細(xì)節(jié)。這樣能將大部分性能集中在最有用的細(xì)節(jié)上，同時(shí)節(jié)省了其他地方的資源消耗。

　　當(dāng)然，這需要眼動(dòng)追蹤的配合，我們需要快速準(zhǔn)確的識(shí)別用戶(hù)的注視中心，才能以此為基礎(chǔ)運(yùn)用注視點(diǎn)渲染技術(shù)。

　　自動(dòng)用戶(hù)檢測(cè)和調(diào)節(jié)

　　除了檢測(cè)眼球運(yùn)動(dòng)之外，眼動(dòng)追蹤還可以用作生物識(shí)別標(biāo)識(shí)符。當(dāng)不同的人戴上VR頭顯時(shí)，系統(tǒng)可以立即識(shí)別出不同的身份，并調(diào)用各自的自定義環(huán)境、內(nèi)容庫(kù)、游戲進(jìn)度和設(shè)置。

　　眼動(dòng)追蹤也可用于精確測(cè)量IPD，即瞳距。許多人都不知道瞳距是什么，其實(shí)瞳距在VR中很重要，因?yàn)閂R頭顯需要將透鏡和顯示屏移動(dòng)到合適的位置，才能提供最佳的顯示效果。

　　利用眼動(dòng)追蹤可以實(shí)時(shí)測(cè)量每個(gè)用戶(hù)的瞳距，然后通過(guò)頭顯的軟件系統(tǒng)自動(dòng)調(diào)整透鏡位置，或是警告用戶(hù)他們的IPD超出了硬件支持的范圍。

　　變焦顯示

　　如今VR頭顯中所使用的光學(xué)系統(tǒng)實(shí)際上依然相當(dāng)簡(jiǎn)單，它們不支持人類(lèi)視覺(jué)中的一項(xiàng)重要功能：動(dòng)態(tài)聚焦。VR頭顯中的顯示屏始終與我們的眼睛距離相同，即使在立體視覺(jué)深度不同時(shí)也是如此，這導(dǎo)致了一個(gè)稱(chēng)為聚散度調(diào)節(jié)沖突的問(wèn)題。

　　針對(duì)這一問(wèn)題，人們提出了一種可以動(dòng)態(tài)改變焦距的變焦顯示技術(shù)。改變顯示焦距的方法有很多，其中最簡(jiǎn)單是通過(guò)移動(dòng)透鏡位置以改變焦點(diǎn)深度。

　　實(shí)現(xiàn)這種變焦顯示同樣需要眼動(dòng)追蹤，通過(guò)追蹤用戶(hù)視線在虛擬場(chǎng)景中的路徑，系統(tǒng)可以計(jì)算出焦平面，然后將該信息發(fā)送到顯示器以相應(yīng)地進(jìn)行調(diào)整，設(shè)定焦距以匹配從用戶(hù)的眼睛到目標(biāo)的虛擬距離。

　　有效應(yīng)用的變焦顯示技術(shù)可以解決聚散度調(diào)節(jié)沖突，而在將變焦顯示應(yīng)用到VR頭顯之前，眼動(dòng)追蹤也可以用于模擬景深，使焦平面外的物體呈現(xiàn)為模糊的狀態(tài)。

　　中央凹形顯示

　　雖然注視點(diǎn)渲染技術(shù)可以為不同視覺(jué)區(qū)域分配渲染資源，但類(lèi)似的效果也可以通過(guò)改變像素的物理排布來(lái)實(shí)現(xiàn)。與其只在顯示屏的某些部分改變渲染細(xì)節(jié)，不如只提高用戶(hù)視野中心區(qū)域的像素密度。

　　此前VR頭顯一直處于暴力提升分辨率的過(guò)程中，這樣不僅代價(jià)高昂，而且會(huì)隨著屏幕像素?cái)?shù)量接近視網(wǎng)膜分辨率而遇到挑戰(zhàn)。而中央凹形顯示技術(shù)會(huì)根據(jù)眼動(dòng)追蹤數(shù)據(jù)，將一塊小型的高分辨率顯示屏移動(dòng)到用戶(hù)正在注視的位置，可以在不暴力擴(kuò)充全視野分辨率的情況下，讓VR頭顯實(shí)現(xiàn)更高的顯示分辨率，甚至可能創(chuàng)造比用單個(gè)顯示屏更大的視野。

　　Varjo是一家致力于開(kāi)發(fā)中央凹形顯示系統(tǒng)的公司，他們?cè)谝粔K大尺寸普通顯示屏前，放置了一塊小尺寸高分辨率顯示屏，這意味著用戶(hù)既可以擁有廣闊的視野，又能在中央?yún)^(qū)域獲得高清晰的圖像。

　　Varjo目前的原型機(jī)尚不能移動(dòng)中央的小尺寸顯示屏，但該公司表示已研究出一些其他方法，確保高分辨率區(qū)域一直處于用戶(hù)的視線中心位置。

　　更真實(shí)的虛擬形象

　　目前在很多社交軟件中，虛擬形象的設(shè)定都是不夠形象的，雖然有些支持豐富的人物設(shè)定，以及個(gè)性化的自定義選項(xiàng)，但依然不夠理想。尤其是虛擬人物在頭部的靈活性，以及肢體動(dòng)作方面。

　　頭像方面，雖然很多虛擬形象支持眨眼、注視和一擬人化的動(dòng)作，但都是程序提前設(shè)定好的。正因?yàn)榇耍�這種不夠真實(shí)的虛擬形象拉遠(yuǎn)了人們?cè)赩R社交中的距離。

　　而在真實(shí)世界的人際交談對(duì)話(huà)中，注視對(duì)方被是為有禮貌且必要的行為，眼睛起到了至關(guān)重要的作用。在VR中也是一樣，把眼球追蹤技術(shù)應(yīng)用到VR頭像中，就能夠在虛擬形象中，實(shí)時(shí)反映出你真實(shí)的狀態(tài)。

　　這樣一來(lái)，包括眨眼、翻白眼、眼球轉(zhuǎn)動(dòng)等動(dòng)作都能體現(xiàn)在VR中，甚至從眼睛中也能判斷出部分情緒，例如高興、驚喜、難過(guò)等，都會(huì)反映在虛擬化身的臉上。

　　深層次交互和意圖分析

　　實(shí)際上，眼球追蹤也可以通過(guò)收集玩家的注視點(diǎn)來(lái)分析玩家的意圖，甚至也能夠把互動(dòng)融入進(jìn)來(lái)。。例如，在一款恐怖的游戲中，當(dāng)你注視前方那扇門(mén)的門(mén)把手時(shí)，門(mén)會(huì)自動(dòng)打開(kāi)或有產(chǎn)生其它交互動(dòng)作，類(lèi)似的例子還有很多。

　　我們知道，現(xiàn)階段的VR游戲基本上都是通過(guò)手柄來(lái)交互，通常的情況是當(dāng)走進(jìn)下一個(gè)區(qū)域內(nèi)(通常是門(mén)、過(guò)道、轉(zhuǎn)向等關(guān)卡)時(shí)，下一個(gè)交互就會(huì)自然出現(xiàn)，例如到了某個(gè)地方僵尸自動(dòng)跳出來(lái)等。

　　而在游戲或應(yīng)用中加入眼球追蹤的交互，可以讓體驗(yàn)更自然。甚至，在恐怖游戲中，我們還可以只對(duì)注視方向進(jìn)行高亮顯示，其它區(qū)域?yàn)榘瞪�，以此�?lái)提升視覺(jué)沉浸感。

　　Tobii作為眼球追蹤硬件和軟件解決方案提供商，他告訴我們，眼球追蹤還能幫助玩家在游戲中更好的控制虛擬環(huán)境的物體。在一個(gè)VR游戲案例中，通過(guò)傳統(tǒng)手柄去投擲物體可能會(huì)和你想像的在真實(shí)環(huán)境中不同，可能跌落的很快，或者可能拋出的很高，總之不是你想要拋出去的位置。

　　在上面的演示中，左側(cè)的灰白色球?yàn)槲词褂醚矍蜃粉櫟能壽E，而右側(cè)的紅色的球是通過(guò)手柄配合眼球追蹤的軌跡，可以明顯看出后者能夠準(zhǔn)確的拋向游戲內(nèi)制定的交互點(diǎn)。實(shí)際上，這是基于你拋球時(shí)注視的位置系統(tǒng)自動(dòng)尋找落點(diǎn)，手柄拋出的動(dòng)作無(wú)需瞄準(zhǔn)(畢竟在VR中這種體驗(yàn)不友好)，這樣就可以大幅提升VR中投擲類(lèi)游戲的體驗(yàn)。

　　除此之外，眼球追蹤還能應(yīng)用在分析層面。通過(guò)收集玩家們?cè)谟螒蛑嘘P(guān)注或注意最多的點(diǎn)，從而形成熱力圖，開(kāi)發(fā)人員可以通過(guò)熱力圖中來(lái)更好的了解應(yīng)用使用情況。

　　那么，這些熱圖能干些什么呢?以游戲?yàn)槔�，它可以很好的幫助開(kāi)發(fā)者們了解玩家是否發(fā)現(xiàn)游戲內(nèi)的交互，注意力是否被其它非環(huán)境因素打擾，以及玩家們注意力都在哪，以此來(lái)改善游戲的交互。

　　靈活的操控和輸入

　　眼球追蹤對(duì)于主動(dòng)輸入也起到幫助，它能夠讓玩家們通過(guò)眼球注視點(diǎn)來(lái)快速完成操作。例如，在VR中有著較大的視野，但很多UI界面并不友好，往往還是按照傳統(tǒng)游戲界面開(kāi)發(fā)的。

　　例如圖標(biāo)平鋪設(shè)計(jì)，從左上角到另一個(gè)方向需要大幅晃動(dòng)手柄或手柄多次按鍵才行。而如果加入眼球追蹤，可以直接通過(guò)眼睛注視點(diǎn)快速移動(dòng)預(yù)選框，然后按一次手柄即可完成，大大減少操作步驟，比VR手柄中的虛擬激光柱更為直接。

　　醫(yī)療保健以及醫(yī)療研究

　　沒(méi)想到的是，眼球追蹤在醫(yī)療保健和醫(yī)療研究領(lǐng)域也有所幫助。實(shí)際上，SyncThink等公司已經(jīng)開(kāi)始通過(guò)眼球追蹤功能的VR頭顯來(lái)檢測(cè)腦震蕩，以此來(lái)提高現(xiàn)場(chǎng)診斷的效率。

　　醫(yī)療研究領(lǐng)域的人員能夠通過(guò)眼球追蹤裝置來(lái)收集數(shù)據(jù)，比如了解眼神接觸對(duì)于自閉癥的影響，用眼球追蹤的頭戴設(shè)備觀察鋼琴演奏家在彈鋼琴時(shí)注視的哪些區(qū)域等。

　　綜上所述，眼球追蹤是一項(xiàng)潛力巨大、且有望改變VR游戲交互的重要技術(shù)。可以預(yù)見(jiàn)的是，今后將有越來(lái)越多的VR頭顯將支持眼球追蹤功能。最終，所有VR頭顯均有望將配備此功能。