2018年05月09日,如果動畫角色要感動我們,它們需要首先動起來。然而,賦予虛擬角色生命從來不是一件易事。動捕技術能夠記錄和數字化復制人體運動以創(chuàng)建3D動畫。我們不妨聯想一下安迪·瑟金斯在《指環(huán)王》系列中所扮演的咕嚕。
傳統(tǒng)動捕技術的問題是,其需要依靠大量昂貴和笨重的硬件。這同時需要經驗豐富的專業(yè)人員操作多攝像機設置,演播室環(huán)境,以及演員身穿特制的傳感器套裝。
“所有這些費用,技能和時間都令人對動捕技術望而卻步。”RADiCAL的聯合創(chuàng)始人兼CEO Gavan Gravesen如是說道。初創(chuàng)公司RADiCAL是一家位于紐約的NVIDIA Inception項目成員。Gravesen表示:“我們致力于提供全民易用性,無縫集成和快速完成,而所有這一切都是以低成本實現。”
他們基于AI的解決方案只需要游戲開發(fā)商,3D圖形藝術家,電影制作人員和AR/VR愛好者提供一件物理硬件:一臺2D相機,甚至是一臺手機。不需要其他硬件,工作室環(huán)境或精密的傳感器設備,這大大降低了所涉及的成本和工作量。
1. 更簡單的動捕
世界任何用戶都可以通過智能手機或網絡直接將視頻上傳到RADiCAL的云端中。該公司則利用人工智能和運動科學處理視頻,檢測其中的內容,在3D空間中重現人類運動,甚至是重建相機所無法看到的內容。
RADiCAL的算法可以自動適應不同的人體比例和人體運動,然后創(chuàng)建一個可以在3D映射視頻主體運動的模型。盡管模型的流暢運動使得該過程看起來十分簡單,但底層卻非常復雜。
RADiCAL的聯合創(chuàng)始人兼CTO Anna-Chiara Bellini指出:”我們集成了深度學習,機器人技術,計算機視覺和生物力學,這需要強大的人工智能開發(fā)環(huán)境。”
2. 利用TensorFlow處理
Bellini表示,RADiCAL面臨的第一個挑戰(zhàn)就是需要處理的大量數據。對于他們的算法,單張靜止圖像可能需要分析多達6GB的數據。但對于每一秒的動作,期間包含120幀內容,從而帶來了驚人的720GB數據。
Bellini及其團隊選擇了TensorFlow,將GPU編程集成到他們的研究過程中,從而為整個管道提供一個“單一執(zhí)行模型”。她解釋說:“通過使用CUDA編寫的ad-hoc內核來補充TensorFlow,一個只需數小時編寫的簡單內核可以為我們節(jié)約數天的模擬時間。”
為了支持其運動模型,RADiCAL在多GPU系統(tǒng)上以交錯方式處理多個幀。Bellini指出:“支持多個Tesla V100 GPU的最新一代NVIDIA NVLink等技術使這一切成為了可能。”
Bellini和她的團隊使用了基于云端的多GPU設備,她們將從構思到部署再到生產的開發(fā)周期時間減少了10倍。
她說道:“英偉達的顯卡提高了我們的工作速度,允許我們探索更多的選項,以及更有效地利用我們機器學習工程師的時間。這是一個驚人的發(fā)現。”
3. 動畫文件的應用
在處理完視頻后,RADiCAL將通過網站及其MOTiON應用程序提供與實際視頻片段并排呈現的實時3D預覽。用戶還可以下載適用于3D動畫,增強現實,虛擬現實,游戲引擎和其他3D圖形程序,以及內容頻道格式的動畫文件。
RADiCAL現在已經向創(chuàng)意產業(yè)的早期采用者提供了一個公開測試計劃(點擊前往),而他們目標是在數周內完成全面的商業(yè)發(fā)行。
榜單收錄、高管收錄、融資收錄、活動收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報生成中...