端側(cè)AI的算力潛力與利用挑戰(zhàn)

　　端側(cè)AI可能帶來(lái)的算力閑置

　　端側(cè)AI的性能雖然弱于云側(cè)AI，但更貼近用戶(hù)使用場(chǎng)景，低延時(shí)、高可靠性、低成本、隱私和安全等優(yōu)勢(shì)顯著，更有機(jī)會(huì)獲得用戶(hù)的認(rèn)同和使用。隨著今年端側(cè)AI的爆發(fā)，端側(cè)的硬件性能得到了大幅提升。

　　安迪-比爾定理 (Andy and Bill’s Law)是對(duì)IT產(chǎn)業(yè)中軟件和硬件升級(jí)換代關(guān)系的一個(gè)概括。“Andy gives, Bill takes away.(安迪提供什么，比爾拿走什么。)” 安迪指英特爾前CEO安迪·格魯夫，比爾指微軟前任CEO比爾·蓋茨，意思是硬件提高的性能，很快被軟件消耗掉了。

　　但是，AI終端(手機(jī)、電腦)的AI功能(如文本生成、多模態(tài)音視頻處理等)，目前從場(chǎng)景和使用頻率來(lái)看，遠(yuǎn)不及手機(jī)、電腦傳統(tǒng)的各類(lèi)功能應(yīng)用，端側(cè)智能體的生態(tài)也尚未形成，當(dāng)云側(cè)大模型還在拿著錘子找釘子，滿(mǎn)世界尋找應(yīng)用場(chǎng)景的時(shí)候，端側(cè)AI又開(kāi)始搶奪需求，AI的供求失衡很可能出現(xiàn)，導(dǎo)致一定時(shí)期內(nèi)端側(cè)AI的硬件設(shè)備處于閑置狀態(tài)。

　　端側(cè)AI的邊緣算力有多大

　　以手機(jī)為例，根據(jù)中國(guó)電信研究院2023年“終端智能算力發(fā)展指數(shù)”報(bào)告，截至2023年2月，國(guó)內(nèi)存量手機(jī)終端智能算力總規(guī)模超7100EOPS，是我國(guó)數(shù)據(jù)中心算力總規(guī)模12倍以上。據(jù)2024年5月Counterpoint&和聯(lián)發(fā)科發(fā)布的《生成式AI手機(jī)產(chǎn)業(yè)白皮書(shū) 》，預(yù)計(jì)在 2027 年AI手機(jī)將會(huì)AI手機(jī)的存量規(guī)模將會(huì)從 2023 年的只有百萬(wàn)級(jí)別增長(zhǎng)至 2027 年的 12.3 億部， AI手機(jī)端側(cè)整體 AI算力將會(huì)達(dá)到 50000EOPS以上，未來(lái)AI 手機(jī)將會(huì)成為不可忽視的 AI計(jì)算資源池。

　　根據(jù)App Annie發(fā)布的《2022年移動(dòng)狀態(tài)報(bào)告》，2021年全球移動(dòng)設(shè)備使用量為3.8萬(wàn)億小時(shí)，平均每天使用3.3小時(shí)。QuestMobile 2023中國(guó)互聯(lián)網(wǎng)核心趨勢(shì)年度報(bào)告顯示，12.24億用戶(hù)每月上網(wǎng)160小時(shí) 。由此可見(jiàn)，從用戶(hù)使用習(xí)慣來(lái)看，智能手機(jī)除了正常每天3-5小時(shí)的使用，其余大部分時(shí)間處于充電、休眠等開(kāi)機(jī)狀態(tài)。在多數(shù)時(shí)間里，AI算力都處于閑置狀態(tài)。

　　再來(lái)看看AI PC,微軟將最低內(nèi)存配置16GB，至少40 TOPS以上計(jì)算能力的電腦定義為AI PC。Canalys預(yù)測(cè)到2027年AI PC全球出貨量預(yù)計(jì)超過(guò)1.7億臺(tái)，在總個(gè)人電腦出貨量的占比超60%，23-27年AI PC出貨量 CAGR達(dá)63%。按此計(jì)算，AI PC 2027年一年的出貨量就能新增端側(cè)算力至少68億TOPS。 AIPC用戶(hù)在不使用時(shí)，可能處于關(guān)機(jī)/待機(jī)狀態(tài)，但只要有足夠的動(dòng)力驅(qū)動(dòng)，其算力完全可能得到共享利用。

　　利用AI端側(cè)算力的技術(shù)可行性

　　在端側(cè)算力的利用上，目前主要有六大關(guān)鍵技術(shù)，包括層次化端算力感知圖模型、面向多終端協(xié)同的資源虛擬化技術(shù)、多終端協(xié)同的數(shù)據(jù)壓縮技術(shù)、多粒度多層次端算力調(diào)度、面向終端設(shè)備的現(xiàn)場(chǎng)級(jí) AI 推理以及端算力的定價(jià)機(jī)制。

　　層次化端側(cè)算力感知圖模型，試圖構(gòu)建終端設(shè)備的算力特征向量(A=[計(jì)算資源剩余量，存儲(chǔ)資源剩余量，電池剩余量，通信能力，數(shù)據(jù)感知能力，移動(dòng)模式，微服務(wù)匹配度，隱私保護(hù)度])，并根據(jù)特征向量評(píng)估終端設(shè)備的綜合算力值。端側(cè)設(shè)備能夠憑借其智能體實(shí)時(shí)感知的能力，計(jì)算特征向量，評(píng)估自身的綜合算力值，并提供給需求者。

　　面向多終端協(xié)同的資源虛擬化技術(shù)，在邊緣計(jì)算環(huán)境中，海量的端側(cè)設(shè)備與包含 CPU、GPU、FPGA、TPU 等不同計(jì)算架構(gòu)的邊緣計(jì)算基礎(chǔ)設(shè)施共同構(gòu)成了極度異構(gòu)的計(jì)算環(huán)境。信通院在《邊緣算力白皮書(shū)》2022》中指出，為了實(shí)現(xiàn)不同計(jì)算硬件的統(tǒng)一調(diào)度，業(yè)界從兩個(gè)方向開(kāi)展技術(shù)研究與實(shí)現(xiàn)，以云廠商為代表的邊緣計(jì)算服務(wù)商，通過(guò)虛擬化技術(shù)將計(jì)算資源池化，向用戶(hù)提供算力資源服務(wù);邊緣計(jì)算硬件廠商，基于自身硬件產(chǎn)品，提出統(tǒng)一的編程模型，為跨 CPU、GPU、FPGA、專(zhuān)用加速器的開(kāi)發(fā)者提供統(tǒng)一的體驗(yàn)。隨著端側(cè)算力的爆發(fā)，云廠商會(huì)加快做好前者，而端側(cè)設(shè)備的廠商，完全有能力也有動(dòng)力做好后者。

　　多終端協(xié)同的數(shù)據(jù)壓縮技術(shù)，端側(cè)設(shè)備能夠借助自身大模型的非線性映射能力，快速學(xué)習(xí)到海量數(shù)據(jù)(如視頻、圖片)的深層次特征，更加有效地去除掉冗余數(shù)據(jù)特征，滿(mǎn)足海量數(shù)據(jù)壓縮的需求，實(shí)現(xiàn)端側(cè)海量數(shù)據(jù)的低時(shí)延傳輸。

　　多粒度多層次端算力調(diào)度有兩方面的工作，一是任務(wù)的解構(gòu)，大型任務(wù)無(wú)法在單個(gè)終端上承載，需要將其根據(jù)業(yè)務(wù)邏輯，資源需求，性能需求，服務(wù)持續(xù)性，業(yè)務(wù)流粘性，資源節(jié)點(diǎn)統(tǒng)一性等因素，分解成小粒度，簡(jiǎn)化的算力需求，使業(yè)務(wù)可以分布式地部署在多個(gè)終端算力節(jié)點(diǎn)上。二是多層次的算力調(diào)度，包括端側(cè)算力網(wǎng)絡(luò)內(nèi)部的多層次調(diào)度和云邊端協(xié)同的多層次調(diào)度。這兩點(diǎn)可以通過(guò)端側(cè)AI和云側(cè)AI的協(xié)同來(lái)實(shí)現(xiàn)。

　　面向終端設(shè)備的現(xiàn)場(chǎng)級(jí) AI 推理，實(shí)際上就是要求在端側(cè)部署大模型，端側(cè)設(shè)備具有的高算力芯片和部署的大模型，能夠輕而易舉地實(shí)現(xiàn)這一關(guān)鍵技術(shù)。

　　端側(cè)算力定價(jià)機(jī)制是共享端側(cè)算力的基礎(chǔ)，在《端側(cè)算力網(wǎng)絡(luò)白皮書(shū)(2022年)》中提出了區(qū)塊鏈工作量證明和基于拍賣(mài)算法的定價(jià)策略。前者可以構(gòu)建一個(gè)端側(cè)算力的區(qū)塊鏈，端側(cè)設(shè)備通過(guò)工作量證明機(jī)制獲得一定的token獎(jiǎng)勵(lì)，后者可以通過(guò)端側(cè)設(shè)備的AI AGENT，對(duì)算力進(jìn)行議價(jià)，實(shí)現(xiàn)算力的共享。

　　端側(cè)AI算力對(duì)電信運(yùn)營(yíng)商的意義

　　1.緩解云側(cè)AI算力消耗，降低數(shù)據(jù)中心能耗

　　端側(cè)設(shè)備是通過(guò)電信網(wǎng)絡(luò)接入通信網(wǎng)和互聯(lián)網(wǎng)，因此，運(yùn)營(yíng)商可以考慮通過(guò)虛擬化技術(shù)將計(jì)算資源池化，將端側(cè)的算力納入其算力板塊，成為運(yùn)營(yíng)商算力的重要組成，通過(guò)有效運(yùn)營(yíng)帶來(lái)增量收入，如果運(yùn)營(yíng)商不思考如何利用這一算力，很有可能被其它云廠商搶占。

　　數(shù)據(jù)中心是耗能大戶(hù)。據(jù)統(tǒng)計(jì)，數(shù)據(jù)中心每年消耗的電力約占全球總發(fā)電量的2%。其中，AI計(jì)算是數(shù)據(jù)中心的主要耗能來(lái)源之一。端側(cè)設(shè)備可以幫助企業(yè)降低數(shù)據(jù)中心的能耗。當(dāng)AI任務(wù)在端側(cè)設(shè)備上完成時(shí)，就不需要將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行處理，從而可以節(jié)省大量的能源，有效降低數(shù)據(jù)中心的能耗，減少碳排放。

　　2.與用戶(hù)實(shí)現(xiàn)共贏

　　用戶(hù)將閑置算力共享出去，可以提高終端的利用率，發(fā)揮更大價(jià)值。從而獲得額外的收入。這可以降低部分終端的購(gòu)買(mǎi)和使用成本。用戶(hù)通過(guò)出租閑置算力獲得報(bào)酬，報(bào)酬的多少取決于閑置算力的數(shù)量和質(zhì)量。例如，如果用戶(hù)的終端配備了更高性能的AI芯片，那么他可以獲得更高的報(bào)酬。

　　運(yùn)營(yíng)商可以通過(guò)平臺(tái)將來(lái)自多個(gè)用戶(hù)的閑置算力聚合在一起，形成一個(gè)巨大的算力資源池。提供給需要AI計(jì)算能力的企業(yè)和機(jī)構(gòu)。還可以利用其閑置算力來(lái)完成一些計(jì)算密集型的任務(wù)。

　　例如Folding@home項(xiàng)目，是一個(gè)研究蛋白質(zhì)折疊、誤折、聚合及由此引起的相關(guān)疾病的分布式計(jì)算工程，由斯坦福大學(xué)化學(xué)系的潘德小組( Pande Group )主持，于 2000 年 10 月 1 日正式啟動(dòng)， Folding@home是目前世界上最大的分布式計(jì)算項(xiàng)目。截止目前有超過(guò)百萬(wàn)人參與項(xiàng)目，它的計(jì)算能力總能達(dá)到全球超級(jí)計(jì)算機(jī) TOP 10 水平。新冠流行期間，F(xiàn)olding@home 向全球發(fā)出號(hào)召，希望更多人能貢獻(xiàn)自己的閑置算力幫助其尋找新冠肺炎的突破口。

　　表1 邊緣算力的貢獻(xiàn)(數(shù)據(jù)來(lái)源：Folding@home官網(wǎng))

　　還有其它一些邊緣算力共享的例子，如Einstein@Home項(xiàng)目基于BOINC平臺(tái)，利用志愿計(jì)算的威力來(lái)處理分析LIGO和GEO600采集的海量觀測(cè)數(shù)據(jù)，以從中尋找引力波存在的證據(jù)。CPDN項(xiàng)目嘗試預(yù)測(cè)21世紀(jì)氣候等等。

　　3.風(fēng)險(xiǎn)與挑戰(zhàn)

　　端側(cè)AI作為邊緣計(jì)算中的新成員，正在逐漸展現(xiàn)出其巨大的潛力。隨著技術(shù)的進(jìn)步和應(yīng)用場(chǎng)景的拓展，端側(cè)AI的算力資源有望被更廣泛地共享，實(shí)現(xiàn)資源的優(yōu)化配置和高效利用。

　　端側(cè)AI算力共享依賴(lài)于用戶(hù)對(duì)共享的利益和風(fēng)險(xiǎn)的充分理解。用戶(hù)是否愿意分享其設(shè)備算力，很大程度上取決于他們對(duì)共享可能帶來(lái)的經(jīng)濟(jì)激勵(lì)和服務(wù)優(yōu)化等實(shí)際好處的認(rèn)知，以及對(duì)數(shù)據(jù)安全和隱私保護(hù)的擔(dān)憂(yōu)。因此，建立一個(gè)透明、可靠的共享機(jī)制，確保用戶(hù)數(shù)據(jù)的安全和隱私，是至關(guān)重要的。

　　共享算力的收益價(jià)值是影響用戶(hù)分享意愿的關(guān)鍵因素。用戶(hù)需要看到通過(guò)共享算力能夠獲得的實(shí)際利益，這可能包括經(jīng)濟(jì)補(bǔ)償、服務(wù)優(yōu)化或其他形式的回報(bào)。只有當(dāng)用戶(hù)認(rèn)為共享算力的收益明顯大于其潛在風(fēng)險(xiǎn)時(shí)，他們才更有可能積極參與。

　　隱私保護(hù)是端側(cè)AI算力共享中不可忽視的問(wèn)題。必須采取有效的技術(shù)措施和管理策略來(lái)保護(hù)用戶(hù)的隱私，如數(shù)據(jù)加密、匿名化處理和訪問(wèn)控制等，以確保用戶(hù)數(shù)據(jù)在共享過(guò)程中不被濫用或泄露。

　　端側(cè)AI算力的管理平臺(tái)同樣面臨著成本和持續(xù)經(jīng)營(yíng)能力的挑戰(zhàn)。平臺(tái)需要投入資源進(jìn)行技術(shù)研發(fā)、維護(hù)運(yùn)營(yíng)和市場(chǎng)推廣，同時(shí)也需要探索可持續(xù)的商業(yè)模式，以確保平臺(tái)的長(zhǎng)期穩(wěn)定發(fā)展。

　　本文作者

　　劉敬東

　　戰(zhàn)略發(fā)展研究所

　　二級(jí)分析師

　　碩士，就職于中國(guó)電信研究院，長(zhǎng)期從事電信新產(chǎn)品、客服服務(wù)、數(shù)字化轉(zhuǎn)型等領(lǐng)域的研究。