2018年05月02日，一系列的VR一體機(jī)將在2018年登陸市場(chǎng)，但至今都沒(méi)有任何一款設(shè)備能夠提供6自由度控制器輸入。但這種情況或許很快就會(huì)發(fā)生改變。谷歌一份最新的研究詳細(xì)介紹了一種低成本的內(nèi)向外VR控制器追蹤系統(tǒng)。

　　第一款提供內(nèi)向外頭部追蹤功能的VR一體機(jī)即將面世：聯(lián)想Mirage Solo(谷歌Daydream生態(tài)系統(tǒng)的一部分)和HTC Vive Focus。但這兩款頭顯只配備了3自由度運(yùn)動(dòng)控制器，這意味著手部輸入僅限于更抽象和更不具沉浸感的動(dòng)作。

　　谷歌在研究論文中指出，許多VR一體機(jī)缺乏6自由度控制器追蹤的原因是硬件成本，計(jì)算成本和遮擋問(wèn)題。這篇題為《Egocentric 6-DOF Tracking of Small Handheld Objects》的說(shuō)明了一種基于計(jì)算機(jī)視覺(jué)的6自由度控制器追蹤方法，其可以在沒(méi)有活動(dòng)標(biāo)記的情況下運(yùn)行。

　　谷歌的論文作者Rohit Pandey，Pavel Pidlypenskyi，Shuoran Yang和Christine Kaeser-Chen寫道：“我們的關(guān)鍵觀察結(jié)果是，用戶雙手和雙臂為控制器在影像中的位置提供了優(yōu)秀的情景參考，即便控制器本身有可能被遮擋時(shí)也能提供十分穩(wěn)定的線索。為了簡(jiǎn)化系統(tǒng)，我們選擇了用于頭顯6自由度姿態(tài)追蹤的相同攝像頭來(lái)作為輸入。在我們的實(shí)驗(yàn)中，它們是一對(duì)立體單色魚眼攝像頭。除了基于標(biāo)準(zhǔn)IMU的控制器之外，我們不需要額外的標(biāo)記或硬件。”

　　論文作者表示，這種方法可以為基于IMU的控制器帶來(lái)位置追蹤。他們相信這有朝一日可以擴(kuò)展到無(wú)控制器手部追蹤。

　　像Santa Cruz這樣的內(nèi)向外控制器追蹤方法使用攝像頭尋找隱藏在控制器內(nèi)部的IR LED標(biāo)記，然后將標(biāo)記的形狀與已知形狀進(jìn)行比較以判斷控制器的位置。谷歌的方法則是根據(jù)用戶雙手和雙臂來(lái)推斷控制器的位置。

　　為了做到這一點(diǎn)，他們從頭顯角度捕獲了大量的圖像數(shù)據(jù)集。相關(guān)數(shù)據(jù)顯示了用戶以某種方式握持控制器的姿態(tài)。然后研究人員訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)(一個(gè)可以自我優(yōu)化的程序)來(lái)檢測(cè)圖像，并且推斷控制器的位置。通過(guò)數(shù)據(jù)集的學(xué)習(xí)，該算法可以根據(jù)從頭顯實(shí)時(shí)饋送的全新圖像來(lái)推斷控制器位置。另外，系統(tǒng)可以結(jié)合控制器的IMU數(shù)據(jù)來(lái)提高準(zhǔn)確性。

　　在一個(gè)已被刪除的視頻中，我們看到了來(lái)自頭顯攝像頭的視圖，其中用戶正在揮動(dòng)一個(gè)看似Daydream控制器的設(shè)備。疊加在影像的內(nèi)容是一個(gè)標(biāo)記控制器位置的符號(hào)，其能夠在用戶移動(dòng)手部時(shí)精確跟上控制器，即便控制器本身被用戶手臂遮擋時(shí)也沒(méi)有任何問(wèn)題。

　　為了測(cè)試系統(tǒng)的準(zhǔn)確性，研究人員使用了商業(yè)版外向內(nèi)追蹤系統(tǒng)來(lái)捕捉控制器的精確位置，然后再與他們的方法進(jìn)行比較。結(jié)果表明，“3D關(guān)鍵點(diǎn)預(yù)測(cè)的平均誤差為33.5毫米”(略大于1英寸)。研究人員表示，他們的系統(tǒng)能夠以30FPS的速度在“單個(gè)移動(dòng)CPU內(nèi)核”運(yùn)行，適用于移動(dòng)VR硬件。

　　他們的方法仍然有提升的空間。論文作者指出，由于目前的模型是在逐幀基礎(chǔ)上預(yù)測(cè)位置，而不是共享幀之間的信息，所以他們計(jì)劃把幀之間的插值作為下一步方向，從而顯著加快追蹤速度。

　　谷歌計(jì)劃公開用來(lái)訓(xùn)練算法的數(shù)據(jù)集，允許其他團(tuán)隊(duì)訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)以改善追蹤系統(tǒng)。論文作者認(rèn)為這是同類中規(guī)模最大的數(shù)據(jù)集，由大約547000對(duì)立體圖像組成，而每幅圖像中標(biāo)記有控制器的精確6自由度位置。研究人員表示，20名用戶在一系列的照明條件下進(jìn)行了13種不同的運(yùn)動(dòng)，然后他們?cè)賹⑵渚幾g成最終的數(shù)據(jù)集。

　　映維網(wǎng)預(yù)計(jì)谷歌有可能在5月8日-10日舉行的I/O大會(huì)上公布更多的信息，以及數(shù)據(jù)集的公開時(shí)間。