人們常說，學習一門語言的最佳方式是沉浸在母語環(huán)境中。除了能聽到最地道的發(fā)音和用詞之外，這同時會逼迫著你用自己不熟悉的外文與人交流，從而幫助你迅速掌握這門語言。然而，不是所有人都能獲得這樣的機會。

　　在與IBM研究院的合作中，倫斯勒理工學院為學生提供了另一種學習中文的選擇：360度虛擬環(huán)境(動力墻powerwall屬于VR形態(tài)之一)。學生將能傳送到北京最為繁忙的街道或者中餐館里面。你可以與街頭小販討價還價，或者在餐廳下單。這個環(huán)境配備了不同的AI功能，并能夠實時響應學生。實際上，這個項目早已存在，而且在很大程度上屬于實驗性質，但它將在今年夏天首次用在為期六周的學分課程中。

　　這個項目的靈感來源于兩位倫斯勒理工學院教職工，他們經常通過角色扮演游戲來幫助學生學習漢語。另外，過去數年間的多項研究表明，交互式學習環(huán)境可以提高語言理解和知識留存。一份2018年發(fā)布的研究表明，當在3D虛擬環(huán)境中學習日文時，學生更有可能掌握他們偶然遇到的詞匯。所以，教授團隊開始與IBM研究院進行合作，并且探索利用沉浸式學習優(yōu)勢的方法。

　　除了將學生沉浸在數字投影中，系統(tǒng)同時利用多種傳感器來動態(tài)適配學生的用詞與行為。被試攜帶的麥克風會把語音直接饋送至語音識別算法。攝像頭可以追蹤被試的運動和手勢。例如，如果學生在餐廳里詢問某種菜肴是什么，虛擬角色就能馬上回答相應的名字和配料。這項敘事生成技術同時允許虛擬角色利用維基百科為隨機問題提供更為在行的回答。

　　對于這個投影墻式的360度環(huán)境，其采用的大多數技術都可以從當前的市場中找到，但少數需要進行專門的開發(fā)。漢語有四種聲調，而這對剛剛接觸的外國人而言相當困難。比如說賣和買，讀音不同，而意義則完全相反。所以研究人員創(chuàng)建了一套分析學生聲調的算法。然后，系統(tǒng)會將學生的發(fā)音與中文母語者進行比較，并直接在投影墻中直接提供音頻和視覺反饋。這能夠允許學生與虛擬角色交流，并馬上練習新的詞匯。

　　負責這個計劃的IBM坎布里奇研究院用戶認知體驗總監(jiān)Hui Su表示，團隊仍處于確定其有效性的早期階段。但在2017年底的一次實驗中，研究人員發(fā)現它提高了學生在語言學習中的參與度，并能幫助他們快速掌握新詞匯。

　　例如，在下單之前，學生從未學過如何支付埋單，但通過觀察同伴并與虛擬角色交談，許多學生都掌握了必要的詞匯。Hui Su表示：“這有點令人感到意外。其中一名學生評論說，這應該成為教授語言的方式。”

　　在第一年里，新課程將在近一半的時間里采用虛擬環(huán)境，其余時間則選擇傳統(tǒng)教室(這種安排將來可能會發(fā)生變化)。

　　如果這個課程提供了改善學生學習成果的有力證據，它將可以作為其他課程的榜樣。最符合邏輯的下一步是將其擴展到其他語言。但這同時可以用于指導高管，培訓政府工作人員，或進行任何可能受益于情景模擬和角色扮演的活動。

　　Su Hui表示，這項計劃將有助于研究人員探索認知和沉浸式環(huán)境將如何影響學習，協(xié)作和感知。