10 月 22—23 日，由聲網(wǎng) Agora 主辦的 RTE2021 實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)在北京圓滿落幕。大會(huì)以“萬(wàn)象頻道”為主題，帶來(lái)了 20 余場(chǎng)實(shí)時(shí)互聯(lián)網(wǎng)全生態(tài)線下論壇及活動(dòng)、近百場(chǎng)的精彩演講分享，覆蓋技術(shù)開(kāi)發(fā)、行業(yè)觀察、創(chuàng)業(yè)投資、趨勢(shì)洞察等多維度話題。同時(shí)，在大會(huì)現(xiàn)場(chǎng)還設(shè)置了 demo 豐富的聲網(wǎng)展臺(tái)、酷炫的  Metaverse 展臺(tái)以及豐富的周邊活動(dòng)，為參會(huì)觀眾展示了實(shí)時(shí)互動(dòng)技術(shù)帶來(lái)的全新體驗(yàn)。

　　從 2015 到 2021，今年已經(jīng)是實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)跨過(guò)的第七個(gè)年頭，本屆大會(huì)吸引了 150+ 全球極具前瞻性與實(shí)踐力的技術(shù)領(lǐng)袖、近千名實(shí)時(shí)互聯(lián)網(wǎng)領(lǐng)域的從業(yè)者與數(shù)千名行業(yè)開(kāi)發(fā)者的關(guān)注與參與。大會(huì)圍繞實(shí)時(shí)互動(dòng)行業(yè)一年來(lái)的行業(yè)變遷、趨勢(shì)展望，從場(chǎng)景、技術(shù)、產(chǎn)品、生態(tài)等多個(gè)維度進(jìn)行了深度探討與分享。

　　RTE 萬(wàn)象圖譜重磅發(fā)布

　　全球首個(gè)全自動(dòng)多場(chǎng)景模擬聲學(xué)實(shí)驗(yàn)室落成

　　10 月 22 日 RTE2021 大會(huì)的主論壇上，聲網(wǎng) Agora 創(chuàng)始人&CEO 趙斌發(fā)表了主題為《萬(wàn)象紛呈，實(shí)時(shí)進(jìn)化》的演講。隨著線上模式被越來(lái)越多的行業(yè)所接受，RTE 技術(shù)正在不斷解鎖著全新的應(yīng)用場(chǎng)景。從遠(yuǎn)程辦公的興起到 LiveAudioCast 場(chǎng)景的爆發(fā)，2021 年每一個(gè)人都親眼見(jiàn)證了實(shí)時(shí)互動(dòng)、實(shí)時(shí)音視頻能力在媒體行業(yè)改造工業(yè)、引爆新的媒體形態(tài)、改造社會(huì)的交流形式的潛力。

　　聲網(wǎng) Agora 創(chuàng)始人、CEO 趙斌

　　趙斌在演講中談到了他總結(jié)的對(duì)于未來(lái)實(shí)時(shí)互動(dòng)領(lǐng)域未來(lái)發(fā)展趨勢(shì)的關(guān)鍵詞：孿生與融合。

　　從趨勢(shì)上來(lái)看，數(shù)字化的普及是大勢(shì)所趨。但從娛樂(lè)場(chǎng)景來(lái)看，從影視到文藝、從直播到展會(huì)，越來(lái)越多的娛樂(lè)場(chǎng)景完成了由線上到線下的華麗轉(zhuǎn)身。當(dāng)真正的數(shù)字化普及完成并實(shí)際發(fā)揮效用后，互動(dòng)就成為了其中不可或缺的重要環(huán)節(jié)。這是針對(duì)現(xiàn)有場(chǎng)景而言，而當(dāng)數(shù)字化技術(shù)與實(shí)時(shí)互動(dòng)技術(shù)發(fā)生碰撞，還會(huì)有更多的應(yīng)用場(chǎng)景誕生。數(shù)字化與互動(dòng)技術(shù)的孿生，正是目前 RTE 領(lǐng)域使用量增加、應(yīng)用滲透率提高，同時(shí)應(yīng)用場(chǎng)景也在爆發(fā)的根本原因。

　　當(dāng)深入數(shù)字化場(chǎng)景，其實(shí)不難發(fā)現(xiàn)線上線下體驗(yàn)的相互融合，其本質(zhì)便是一種技術(shù)上深刻的進(jìn)化。在虛擬與現(xiàn)實(shí)交融的場(chǎng)景中，數(shù)據(jù)的實(shí)時(shí)同步和共通帶來(lái)了數(shù)據(jù)的虛實(shí)融合。不論是技術(shù)的進(jìn)化，亦或是環(huán)境的變化，都會(huì)給各種可能性釋放更多的空間。同理，實(shí)時(shí)互動(dòng)的邊界也在不斷進(jìn)化，傳統(tǒng)意義上的實(shí)時(shí)通訊向?qū)崟r(shí)互動(dòng)場(chǎng)景化的人的共同存在，這樣的交互也有可能創(chuàng)造價(jià)值的擴(kuò)張。

　　在演講過(guò)程中，趙斌發(fā)布了基于實(shí)時(shí)互動(dòng)場(chǎng)景的“ RTE 萬(wàn)象圖譜”，共覆蓋教育、泛娛樂(lè)、IoT、金融、醫(yī)療、企業(yè)協(xié)作、數(shù)字政府、智慧城市等 20+ 行業(yè)賽道，200+ 場(chǎng)景。趙斌表示：疫情的影響助推動(dòng)萬(wàn)象圖譜中的場(chǎng)景加速豐富和成熟，例如教育、社交、直播、會(huì)議等領(lǐng)域已初步形成成熟場(chǎng)景，并且他們未來(lái)將長(zhǎng)期存在。

　　在萬(wàn)象圖譜所包含的 200+ 場(chǎng)景中，不僅有許多已經(jīng)經(jīng)過(guò)實(shí)際應(yīng)用考驗(yàn)的成熟場(chǎng)景，還有數(shù)量遠(yuǎn)超成熟場(chǎng)景的新萌芽場(chǎng)景。在萬(wàn)象圖譜中，聲網(wǎng) Agore 依托自身龐大的行業(yè)經(jīng)驗(yàn)與市場(chǎng)分析能力，對(duì)全球處在萌芽階段的應(yīng)用場(chǎng)景進(jìn)行了全面的梳理。開(kāi)發(fā)者和創(chuàng)業(yè)者能夠通過(guò)萬(wàn)象圖譜中的場(chǎng)景梳理，找尋全新的靈感與視角，并同聲網(wǎng)一起對(duì)這些萌芽場(chǎng)景進(jìn)行打磨，探索其中真正的價(jià)值與創(chuàng)新點(diǎn)。

　　除了萬(wàn)象圖譜，趙斌還在演講中宣布另一個(gè)重磅消息：聲網(wǎng) Agora 打造了全球第一個(gè)全自動(dòng)的多場(chǎng)景模擬聲學(xué)實(shí)驗(yàn)室。他表示：它的出現(xiàn)代表著 RTE 行業(yè)在多場(chǎng)景的實(shí)時(shí)互動(dòng)下第一個(gè)專業(yè)的測(cè)試設(shè)施和測(cè)試環(huán)境的建設(shè)已經(jīng)成功投產(chǎn)，將為未來(lái)多場(chǎng)景下的音頻和音效的研究、測(cè)試、評(píng)估帶來(lái)新的高度和便利。

　　下一代實(shí)時(shí)互聯(lián)網(wǎng)，路向何方?

　　聲網(wǎng) Agora 首席科學(xué)家鐘聲博士分享了《實(shí)時(shí)互動(dòng)與智能互聯(lián)網(wǎng)》的主題演講：

　　隨著線上線下的加速融合，在當(dāng)下無(wú)論是視頻通話、在線課堂、VR/AR、直播秀場(chǎng)都已經(jīng)成為我們習(xí)以為常的生活體驗(yàn)。實(shí)時(shí)互動(dòng)技術(shù)，毫無(wú)疑問(wèn)它的出現(xiàn)極大地強(qiáng)化了人們?cè)诰�上世界中的社交體驗(yàn)，同時(shí)也提升了線上應(yīng)用場(chǎng)景中的用戶粘性。

　　想要在線上世界中重現(xiàn)線下人們“歡聚一堂”的體驗(yàn)，對(duì)于通信網(wǎng)絡(luò)低延時(shí)的需求是十分嚴(yán)苛的。針對(duì)實(shí)時(shí)互動(dòng)中的低延時(shí)需求，在面對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)要被處理、要被理解、要被還原的需求上，做到感知通信計(jì)算一體化的技術(shù)支持是非常必要的。

　　聲網(wǎng) Agora 首席科學(xué)家鐘聲博士

　　在未來(lái)的實(shí)時(shí)互動(dòng)場(chǎng)景里，從體驗(yàn)上來(lái)講是敘事的延展，從過(guò)去單純的感官體驗(yàn)到沉浸式的互動(dòng)敘事感受，在未來(lái)的實(shí)時(shí)互動(dòng)場(chǎng)景中人們將獲得更加豐富的體驗(yàn)。在線上世界中，我們需要構(gòu)建基于自身的虛擬角色去演繹效果，其中虛擬角色與現(xiàn)實(shí)中真實(shí)存在的“我”，二者之間的聯(lián)系是需要數(shù)字孿生以及人體的數(shù)字孿生技術(shù)作為紐帶的。未來(lái)的實(shí)時(shí)互動(dòng)中必須要有的是一種強(qiáng)大的交付、表達(dá)以及共情的能力，這其中包含了對(duì)表情情感的識(shí)別，以及環(huán)境的感知、觸覺(jué)的感知以及基于 AI 的 3D 建模，這些技術(shù)共同構(gòu)成了數(shù)字孿生。

　　在談到影響未來(lái)實(shí)時(shí)互聯(lián)網(wǎng)發(fā)展的關(guān)鍵技術(shù)時(shí)，鐘聲介紹到：聲網(wǎng)專注在做低延遲+邊+云的加速，實(shí)時(shí)構(gòu)筑在 PaaS 系統(tǒng)里，API 提供靈活應(yīng)用業(yè)務(wù)構(gòu)建的內(nèi)容，以及先進(jìn)的云/邊計(jì)算，未來(lái)這些肯定是非常重要的技術(shù)發(fā)展方向。通信領(lǐng)域除了帶寬、寬口的延時(shí)、可靠率、多設(shè)備連接繼續(xù)演進(jìn)之外，像太赫茲、毫米波、超大規(guī)模 MIMO 都是底層的關(guān)鍵技術(shù)。同時(shí)，為了呈現(xiàn)更加貼近現(xiàn)實(shí)的視頻圖像效果，超高分辨率的視頻技術(shù)也是不可避免的。

　　同時(shí)，針對(duì)AI技術(shù)在實(shí)時(shí)互聯(lián)網(wǎng)中的應(yīng)用，鐘聲也給出了自己的思路：如何能夠做到通過(guò)一個(gè)小數(shù)據(jù)就能把所有的信息檢索出來(lái)，恢復(fù)出來(lái)?這看似不能完成，但實(shí)際上可以通過(guò) AI 的算法泛化大數(shù)據(jù)轉(zhuǎn)化為小數(shù)據(jù)，以小數(shù)據(jù)驅(qū)動(dòng)大數(shù)據(jù)。從發(fā)送端提取關(guān)鍵點(diǎn)，在接收端根據(jù)關(guān)鍵點(diǎn)重新生成視頻。

　　針對(duì)現(xiàn)如今通信與計(jì)算融合后，現(xiàn)有的運(yùn)維、技術(shù)架構(gòu)已經(jīng)無(wú)法應(yīng)對(duì)當(dāng)今實(shí)時(shí)互動(dòng)的業(yè)務(wù)和體驗(yàn)要求。聲網(wǎng) Agora 首席科學(xué)家鐘聲在演講中表示，下一代的實(shí)時(shí)互聯(lián)網(wǎng)，需要全網(wǎng)協(xié)同及網(wǎng)絡(luò)感知能力，并做好全域帶寬實(shí)時(shí)調(diào)度、全域資源實(shí)時(shí)調(diào)度，發(fā)展支持靈活的動(dòng)態(tài)分布式計(jì)算云原生軟件架構(gòu)，充分利用 AI算法來(lái)泛化智能，小數(shù)據(jù)驅(qū)動(dòng)大數(shù)據(jù)，并持續(xù)提升端/邊/芯片等硬件能力，才能滿足當(dāng)今實(shí)時(shí)互動(dòng)場(chǎng)景提出的技術(shù)、業(yè)務(wù)和體驗(yàn)要求。

　　AI、深度學(xué)習(xí)不斷滲透 RTE 的方方面面

　　除了鐘聲博士的前瞻性研究，在 RTE2021 大會(huì)上我們能看到的另一個(gè)重要現(xiàn)象，是 AI、深度學(xué)習(xí)正在不斷滲透到實(shí)時(shí)音視頻的方方面面。音頻、視頻、網(wǎng)絡(luò)各領(lǐng)域的算法工程師們都在實(shí)踐，以 AI 去優(yōu)化與提升自身領(lǐng)域的性能表現(xiàn)。

　　谷歌工程師在 RTE2021 大會(huì)上分享了最新的低比特率語(yǔ)音編解碼器 Lyra，Lyra 以少量數(shù)據(jù)壓縮重構(gòu)語(yǔ)音，實(shí)現(xiàn) 20kpbs 以下的順暢視頻通話。谷歌工程師們對(duì)單個(gè)最大矩陣進(jìn)行稀疏化，即門(mén)控循環(huán)單元(GRU)內(nèi)的矩陣，而這些塊矩陣可以實(shí)現(xiàn)為小而密集的矩陣，從而讓深度學(xué)習(xí)訓(xùn)練速度提高了兩倍。

　　聲網(wǎng)的 Silver 語(yǔ)音編解碼器則是通過(guò)深度學(xué)習(xí)探索碼率、算力和效果的平衡。聲網(wǎng)的音頻算法團(tuán)隊(duì)使用 AI-NS 降噪算法提升語(yǔ)音信噪比，解決噪聲問(wèn)題，以減少低碼率帶來(lái)的 artifact;

　　編碼基于傳統(tǒng)算法的分頻帶特征提取(基頻、子帶頻譜包絡(luò)、能量等)，以及 RVQ、距離編碼等方法實(shí)現(xiàn)特征編碼節(jié)省碼率;解碼采用自回歸模型和帶寬擴(kuò)展(BWE)的 WaveRNN 模型實(shí)現(xiàn)模型算力的精簡(jiǎn)�；�于自研的多平臺(tái) AI 推理引擎實(shí)現(xiàn)模型的非對(duì)稱量化、混合精度推理、計(jì)算壓縮解碼耗時(shí)，最終保證移動(dòng)端部署的實(shí)時(shí)性。

　　另外，還有 NVIDIA 深度學(xué)習(xí)資深解決方案架構(gòu)師在大會(huì)上分享了英偉達(dá)從提升算力、結(jié)構(gòu)化稀疏減少算力損耗、模型量化尋找最優(yōu)算力的深度學(xué)習(xí)“一增兩減”思路。聲網(wǎng) Agora SD-RTNTM 網(wǎng)絡(luò)傳輸質(zhì)量工程師分享，探索聲網(wǎng)如何將運(yùn)維操作的 API 化、平臺(tái)化，將 AI 和 OPS 拆解成算法-決策-執(zhí)行，以實(shí)現(xiàn) 7*24H 無(wú)間斷、運(yùn)維執(zhí)行的質(zhì)量和效率。

　　視頻標(biāo)準(zhǔn)與專利發(fā)展迅速，期待 AV2 的到來(lái)

　　除了 AI 的深入實(shí)踐，國(guó)內(nèi)廠商在實(shí)時(shí)音視頻領(lǐng)域另一個(gè)重要的戰(zhàn)場(chǎng)，標(biāo)準(zhǔn)制定上，也在投入大量精力。RTE2021 大會(huì)上，參與了高清、4K 等視頻國(guó)際標(biāo)準(zhǔn)制定的葉琰博士，分享了關(guān)于 MPEG、ITU 發(fā)展歷程，VVC 性能演進(jìn)詳細(xì)指標(biāo)數(shù)據(jù)，以及視頻標(biāo)準(zhǔn)商用落地的最新個(gè)人觀點(diǎn)。

　　MPEG 發(fā)展路徑

　　她很坦率地提出了，已經(jīng)占據(jù)互聯(lián)網(wǎng) 80% 流量的視頻，壓縮技術(shù)日趨被重視，也將帶來(lái)專利技術(shù)之爭(zhēng)，以及專利授權(quán)的復(fù)雜場(chǎng)景。另外，MPEG 視頻相關(guān)工作將在 VVC 下一代標(biāo)準(zhǔn)技術(shù)研發(fā)、AI 視頻編碼(包含傳統(tǒng)框架下提供更高壓縮性能、神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻壓縮兩個(gè)方向)，以及浸入式視頻方向發(fā)力。

　　除了視頻標(biāo)準(zhǔn)，RTE2021大會(huì)上，谷歌工程師也帶來(lái)了最新的 AV2 編解碼器的設(shè)計(jì)和性能優(yōu)化成果。上一代 AV1 僅僅在引入實(shí)際場(chǎng)景落地的進(jìn)程中，谷歌的工程師們已經(jīng)在繼續(xù)向前，以 0.4~1.5% 的性能提升，探索編解碼效率的極限。所以，與 AV2 相關(guān)的場(chǎng)景和標(biāo)準(zhǔn)，也將是業(yè)界重點(diǎn)關(guān)注的工作。

　　WebRTC 開(kāi)源與標(biāo)準(zhǔn)之上，聲網(wǎng)如何打破“黑盒子”

　　今年，WebRTC 正式成為 W3C 與 IETF 的官方標(biāo)準(zhǔn)，看起來(lái)塵埃落定。不過(guò)，WebRTC 開(kāi)源社區(qū) Committer、聲網(wǎng) Agora WebRTC 負(fù)責(zé)人毛玉杰在大會(huì)上分享了，各組織在 WebRTC Codecs 存在著開(kāi)源與標(biāo)準(zhǔn)之爭(zhēng)的現(xiàn)狀問(wèn)題，以及聲網(wǎng)在 WebRTC 標(biāo)準(zhǔn)之上，如何設(shè)計(jì) Web 端到端音視頻傳輸架構(gòu)，降低開(kāi)發(fā)者對(duì)實(shí)時(shí)音視頻的使用門(mén)檻。

　　他總結(jié)了 WebRTC 的六個(gè)現(xiàn)有問(wèn)題：設(shè)備與外設(shè)缺乏適配、各類瀏覽器兼容性、移動(dòng)端支持不佳、音視頻模塊不可定制、性能問(wèn)題、統(tǒng)計(jì)數(shù)據(jù)缺失，目前瀏覽器廠商并不能全部解決以上問(wèn)題。聲網(wǎng)結(jié)合 ORTC、WebRTC Extenions、WebRTC-SVC、Web Transport、Raw-Socket……等多個(gè)技術(shù)標(biāo)準(zhǔn)，形成了現(xiàn)在聲網(wǎng)的 Web 端到端音視頻傳輸架構(gòu)。

　　聲網(wǎng) Web 端到端音視頻傳輸架構(gòu)

　　從 AgoraAI 實(shí)時(shí) AI 加速引擎的推出，到在千元機(jī)上開(kāi)啟各類 AI 玩法;從 WebRTC 的標(biāo)準(zhǔn)化，到在探索在 Web 端達(dá)到 native 端同等的能力;從 RTC 與 IM 融合基礎(chǔ)上提供的 aPaaS 到 RTE 萬(wàn)象圖譜的發(fā)布。過(guò)去一年是聲網(wǎng)  Agora 技術(shù)進(jìn)化的一年，也是實(shí)時(shí)互聯(lián)網(wǎng)邁向全新技術(shù)階段的重要變革點(diǎn)，RTE 領(lǐng)域的未來(lái)值得我們期待!