2012年7月12日,*個(gè)虛擬偶像洛天依出道,她推出了《普通Disco》《東京不太熱》等知名歌曲,登上了北京冬奧的舞臺(tái),在B站上擁有近300萬(wàn)粉絲。
在海外的Instagram平臺(tái)上,LilMiquela是一位來(lái)自美國(guó)洛杉磯的19歲虛擬偶像博主,擁有298萬(wàn)粉絲。她擁有巴西與西班牙的血統(tǒng),標(biāo)志性的造型是齊劉海、雀斑和雙丸子頭,經(jīng)常與Gucci、Chanel等大牌合作。
圖|LilMiquela
實(shí)際上,在我國(guó)近年來(lái)發(fā)展迅速的視頻平臺(tái)上,涌現(xiàn)出了許多知名的虛擬數(shù)字人:會(huì)捉妖的美妝達(dá)人柳夜熙、虛擬偶像團(tuán)體A-Soul、清華的虛擬學(xué)生華智冰等等。
虛擬數(shù)字人的產(chǎn)業(yè)迅速發(fā)展起來(lái)。
美國(guó)著名的科幻作家尼爾·斯蒂芬森曾在其1992年出版的小說(shuō)《雪崩》中,描繪了一個(gè)在現(xiàn)實(shí)世界之外的、由電腦和網(wǎng)絡(luò)構(gòu)成的賽博空間Metaverse,這也是如今爆火的「元宇宙」概念的起源。
對(duì)于一個(gè)Metaverse來(lái)說(shuō),所有現(xiàn)實(shí)世界的人在Metaverse中都有一個(gè)替身(Avatar),而虛擬數(shù)字人正是人類(lèi)進(jìn)入這個(gè)未來(lái)的數(shù)字世界的入口。
什么是虛擬數(shù)字人?
虛擬數(shù)字人是近年來(lái)出現(xiàn)的較為新穎的概念,因此沒(méi)有一個(gè)統(tǒng)一且確定的概念界定。
從最基本的詞義拆解來(lái)看,虛擬數(shù)字人包括「虛擬」和「數(shù)字」兩個(gè)基礎(chǔ)概念。所謂「虛擬」的人,強(qiáng)調(diào)人物身份虛構(gòu)、通過(guò)計(jì)算機(jī)圖形學(xué)技術(shù)進(jìn)行虛擬制作且具備人類(lèi)的外觀和行為模式的人;而所謂「數(shù)字」的人,則是指存在于數(shù)字世界,身份設(shè)定和外觀可以按照現(xiàn)實(shí)世界中的人物進(jìn)行設(shè)定。
總結(jié)來(lái)看,根據(jù)中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組和中關(guān)村數(shù)智人工智能產(chǎn)業(yè)聯(lián)盟數(shù)字人工作委員會(huì)發(fā)布的《2020 年虛擬數(shù)字人發(fā)展白皮書(shū)》中對(duì)虛擬數(shù)字人的描述是:
與具備實(shí)體的機(jī)器人不同,虛擬數(shù)字人依賴顯示設(shè)備存在。虛擬數(shù)字人宜具備以下三方面特征:
一是擁有人的外觀,具有特定的相貌、性別和性格等人物特征;
二是擁有人的行為,具有用語(yǔ)言、面部表情和肢體動(dòng)作表達(dá)的能力;
三是擁有人的思想,具有識(shí)別外界環(huán)境、并能與人交流互動(dòng)的能力。
實(shí)際上,從廣義上來(lái)看,虛擬數(shù)字人的發(fā)展歷史由來(lái)已久。
早在20世紀(jì)80年代,人們就開(kāi)始嘗試將虛擬人物引入到現(xiàn)實(shí)世界,比如1982年,世界上*位虛擬歌姬林明美出現(xiàn)了,雖然當(dāng)時(shí)技術(shù)是以傳統(tǒng)的手繪為主,但顯示出了虛擬人概念的萌芽。在21世紀(jì)初,計(jì)算機(jī)技術(shù)飛速發(fā)展,CG(計(jì)算機(jī)動(dòng)畫(huà))技術(shù)和動(dòng)作捕捉技術(shù)發(fā)展日益成熟,日本制作了*個(gè)被廣泛認(rèn)可的虛擬偶像初音未來(lái),對(duì)虛擬數(shù)字人的探索越來(lái)越豐富。
近5年來(lái),隨著深度學(xué)習(xí)的算法取得突破,虛擬數(shù)字人的制作過(guò)程也得到了有效地簡(jiǎn)化。2019年,浦發(fā)銀行和百度共同合作開(kāi)發(fā)的銀行業(yè)首位數(shù)字員工正式亮相;2018年,搜狗與新華社聯(lián)合發(fā)布全球*全仿真智能AI主持人。
而如今,隨著虛擬數(shù)字人上下游的技術(shù)全面提升與突破,虛擬數(shù)字人也朝著全面的智能化、便捷化、精細(xì)化、多樣化發(fā)展。2020年,三星旗下STAR Labs展示了其設(shè)計(jì)的虛擬數(shù)字人NEON,顯示出了虛擬數(shù)字人在當(dāng)下的飛速成長(zhǎng)。
遍覽市面上的虛擬數(shù)字人,我們可以從外觀、技術(shù)和具體應(yīng)用場(chǎng)景三個(gè)角度來(lái)進(jìn)行分類(lèi)。
從外觀上來(lái)看,我們可以大致分為三類(lèi),以洛天依、A-SOUL為代表的卡通類(lèi);以Lil Miquela、湖南主持人小漾為代表的寫(xiě)實(shí)類(lèi);以及以清華華智冰、騰訊Siren為代表的超寫(xiě)實(shí)類(lèi)。
從虛擬人制作技術(shù)的角度看,也可以分為三種。*種,是以形象和語(yǔ)音合成實(shí)現(xiàn)的非交互型的虛擬數(shù)字人,以洛天依為代表;第二種,是近年來(lái)涌現(xiàn)出的以真人驅(qū)動(dòng)實(shí)現(xiàn)的虛擬數(shù)字人,即虛擬背后有一個(gè)真人貢獻(xiàn)了聲音、動(dòng)作等,以A-soul為代表,他們可以和用戶產(chǎn)生一些互動(dòng),但是互動(dòng)的來(lái)源是背后的真人;第三種,是隨著AI技術(shù)的發(fā)展,出現(xiàn)的以AI驅(qū)動(dòng)、能與用戶產(chǎn)生AI的對(duì)話,甚至能自動(dòng)生成唇形表情的虛擬數(shù)字人,目前在市場(chǎng)上的AI驅(qū)動(dòng)型的知名虛擬數(shù)字人還相對(duì)較少。
從具體的應(yīng)用上來(lái)看,虛擬數(shù)字人可以分為服務(wù)型虛擬數(shù)字人與身份型虛擬數(shù)字人。服務(wù)型虛擬數(shù)字人長(zhǎng)應(yīng)用于虛擬客服、虛擬導(dǎo)師,帶貨主播等場(chǎng)景;而身份型虛擬數(shù)字人,則被常常用以打造一些可供運(yùn)營(yíng)的IP,成為社交內(nèi)容平臺(tái)的虛擬主播或偶像。
一個(gè)虛擬數(shù)字人是怎么誕生的?
從無(wú)到有創(chuàng)建一個(gè)虛擬的數(shù)字人不是一件容易的事。按照主要的流程,需要經(jīng)過(guò)建模、驅(qū)動(dòng)、渲染三個(gè)關(guān)鍵步驟。
建模是虛擬數(shù)字人制作的*步,目標(biāo)是制作出人物的形象。在建模的方式上,目前有手工建模、儀器采集建模和人工智能建模三種。
手工建模是目前應(yīng)用較廣的一種建模方式。一般來(lái)說(shuō),是通過(guò)電腦軟件畫(huà)出設(shè)計(jì)稿、描繪構(gòu)建出人物的視圖,然后根據(jù)設(shè)計(jì)圖紙確定人物三維的圖形。整體成本都比較高,一個(gè)超寫(xiě)實(shí)虛擬人的模型可能需要上百萬(wàn)元。
但是近年來(lái),也出現(xiàn)了一些手工建模的工具應(yīng)用,極大的提高了生產(chǎn)效率。例如在2021年初,虛幻引擎開(kāi)發(fā)商Epic Games推出了Metahuman Creator,用于快速創(chuàng)造出非常真實(shí)的虛擬數(shù)字人,任何人都可以在數(shù)分鐘內(nèi)完成創(chuàng)作。
這款工具提供給了用戶從發(fā)型、膚質(zhì)到體型等多種真人掃描的素材,用戶可自行組合素材以快速創(chuàng)建高保真虛擬人。而且渲染能力也十分厲害,可實(shí)現(xiàn)光源在不同膚色和紋理下的不同呈現(xiàn),從而達(dá)到極高的精細(xì)度。
儀器采集建模的方式,通常用于真人1:1的還原,比如明星的真人還原或者是虛擬的分身等。相機(jī)陣列掃描重建的技術(shù)在專(zhuān)業(yè)級(jí)的影視及游戲中,應(yīng)用較為廣泛。這項(xiàng)技術(shù)通過(guò)瞬時(shí)獲取同一時(shí)刻同一對(duì)象的全方位照片信息,然后經(jīng)過(guò)后期的軟件計(jì)算、建模,最終得到對(duì)象的3D模型,能達(dá)到毫米級(jí)的重建精度。
人工智能建模是近年來(lái)隨著人工智能技術(shù)的發(fā)展出現(xiàn)的第三種建模的方式。主要的建模原理是:通過(guò)對(duì)大量的照片和視頻進(jìn)行分析,利用算法模擬出關(guān)鍵模型。這種建模的方式依賴于樣本的數(shù)量,針對(duì)單個(gè)人物樣本越多,則模型越精準(zhǔn)。但目前技術(shù)還不成熟,還遠(yuǎn)不能完全取代純?nèi)斯そEc借助采集設(shè)備進(jìn)行建模的結(jié)果。
建模之后,人物便有了基本的模樣。第二步,便是賦予這個(gè)靜態(tài)的模型,正常行動(dòng)的能力,在虛擬數(shù)字人的技術(shù)上,我們稱之為「驅(qū)動(dòng)」。
在目前的驅(qū)動(dòng)方式上,主要分為兩種。一種是中之人驅(qū)動(dòng),另一種則是人工智能驅(qū)動(dòng)。
所謂「中之人」,本來(lái)指的是特?cái)z角色皮套里面的真人演員。到了近年,中之人通常指的是虛擬直播主背后的真人直播主。在目前的虛擬數(shù)字人的實(shí)際應(yīng)用中,仍然大部分以中之人來(lái)進(jìn)行驅(qū)動(dòng)。
將中之人的動(dòng)作與虛擬數(shù)字人產(chǎn)品一致性的聯(lián)動(dòng),需要通過(guò)設(shè)備,將中之人的動(dòng)作、視覺(jué)、面部表情等進(jìn)行捕捉,將中之人的語(yǔ)音和其畫(huà)面進(jìn)行合成,是一套耗費(fèi)相當(dāng)大成本的操作。
而另一種人工智能的驅(qū)動(dòng)方式,則是利用算法,輸入大量的圖像、文本、語(yǔ)音等原始數(shù)據(jù),通過(guò)深度學(xué)習(xí)的方式,生成相應(yīng)的內(nèi)容,再將音頻和影像進(jìn)行整體的輸出。其中涉及到的技術(shù)包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言推理、自然語(yǔ)言理解、自然語(yǔ)義生成、語(yǔ)音合成等眾多技術(shù)。
在渲染的技術(shù)上,目前技術(shù)的成熟度較高,虛擬人的制作公司只需利用已有的渲染軟件進(jìn)行相應(yīng)畫(huà)面的處理和導(dǎo)出即可。在離線場(chǎng)景下,計(jì)算資源較為豐富,渲染的畫(huà)面質(zhì)量也會(huì)高。實(shí)時(shí)渲染的場(chǎng)景下,需要更多的硬件資源做支撐才能渲染出更高質(zhì)量的畫(huà)面。目前也有一些云端渲染的工具,雖然對(duì)硬件設(shè)備的要求較低,但是畫(huà)面的精度也相對(duì)較低。
虛擬與真實(shí)的交互共生
當(dāng)虛擬數(shù)字人被創(chuàng)造出來(lái)以后,更重要的是與現(xiàn)實(shí)世界的人產(chǎn)生交互,這樣才能在真實(shí)世界產(chǎn)生真實(shí)的應(yīng)用。目前虛擬數(shù)字人在真實(shí)世界中與用戶互動(dòng)的方式,也主要分為:中之人直接進(jìn)行交互,人工智能進(jìn)行交互兩種方式。這兩種交互的方式也對(duì)應(yīng)著虛擬數(shù)字人在商業(yè)世界里不同的應(yīng)用場(chǎng)景。
以中之人驅(qū)動(dòng)的虛擬數(shù)字人,其交互方式是通過(guò)其背后的真人來(lái)產(chǎn)生互動(dòng)。我們?cè)诟鱾(gè)社交內(nèi)容平臺(tái)上看到的虛擬網(wǎng)紅主播們,大部分都是這樣的交互方式。
實(shí)際上,人們?cè)谧分鹛摂M數(shù)字人的偶像時(shí),更多地是關(guān)注與虛擬主播之間產(chǎn)生的互動(dòng)與連接感,滿足內(nèi)心的情感需求。以中之人的形式直接與用戶產(chǎn)生互動(dòng)時(shí),在本質(zhì)上還是人與人之間的連結(jié)與互動(dòng),這樣的交互會(huì)非常人性而自然。
在目前的直播平臺(tái)上,以中之人驅(qū)動(dòng)的虛擬數(shù)字人顯示出了強(qiáng)大的商業(yè)化能力。2022年5月,B站觀看量排行前20的直播中,虛擬主播占比達(dá)到30%。2021年,B站虛擬主播直播打賞營(yíng)收整年保持了100%以上的同比增速,轉(zhuǎn)化率維持在20%左右�;⒀�、酷狗、愛(ài)奇藝等平臺(tái)都開(kāi)設(shè)了虛擬主播相關(guān)的直播頻道。
從商業(yè)效率與穩(wěn)定性的角度看,中之人驅(qū)動(dòng)與交互的方式也存在著不少弊端:生產(chǎn)效率低,一個(gè)中之人只能驅(qū)動(dòng)一個(gè)虛擬人,難以實(shí)現(xiàn)量產(chǎn);而且中之人的角色至關(guān)重要,與虛擬數(shù)字人之間的關(guān)系需要處理得當(dāng),一個(gè)虛擬數(shù)字人的中之人演員的離開(kāi),可能會(huì)造成非常大的損失。
而人工智能與人直接交互的形式,受限于目前的人工智能的技術(shù),目前還僅僅停留在相對(duì)簡(jiǎn)單的口令式階段中。在目前實(shí)際的應(yīng)用中,這類(lèi)虛擬數(shù)字人常常作為服務(wù)型的角色,例如虛擬客服、虛擬導(dǎo)游、虛擬教師等。
但是隨著人工智能技術(shù)的進(jìn)一步發(fā)展與成熟,特別是AGI技術(shù)的演進(jìn),或許有一天,我們將會(huì)真的看到在《西部世界》《失控玩家》中出現(xiàn)的具有自我意識(shí)的虛擬人。在元宇宙虛實(shí)共生的圖景逐步完善后,虛擬數(shù)字人市場(chǎng)也將迎來(lái)以人機(jī)交互為主要發(fā)展方向的二次爆發(fā)。
參考資料:
[1] 2020年虛擬人白皮書(shū) | 中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組和中關(guān)村數(shù)智人工智能產(chǎn)業(yè)聯(lián)盟數(shù)字人工作委員會(huì)
[2] 中之人 | Wikipedia
[3] 元宇宙虛擬人行業(yè)研究報(bào)告 | 中銀證券研究所
[4] 元宇宙深度報(bào)告 | 國(guó)海證券研究所
[5] 一夜入賬近200萬(wàn),虛擬數(shù)字人千億級(jí)市場(chǎng)呼之欲出 | 新京智庫(kù)
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...