7月28日,世界人工智能大會(WAIC)期間,在由中國信息通信研究院舉辦的“大模型智塑全球產(chǎn)業(yè)新秩序論壇”上,上海人工智能實(shí)驗(yàn)室、信通院、螞蟻、IIFAA聯(lián)盟聯(lián)合發(fā)布《終端智能體安全2025》白皮書(下稱“白皮書”),首次系統(tǒng)梳理了智能體(AI Agent)風(fēng)險(xiǎn)分類、如何發(fā)現(xiàn)風(fēng)險(xiǎn)、如何防御風(fēng)險(xiǎn),并覆蓋了單智能體設(shè)備、多智能體協(xié)同,以及AI終端生態(tài)的全面挑戰(zhàn),成為終端智能體安全提供風(fēng)險(xiǎn)評估指南。
在AI大模型加速下沉的2025年,智能體正快速滲透進(jìn)手機(jī)、眼鏡、耳機(jī)、車機(jī)等各種終端設(shè)備,悄悄成為連接人、設(shè)備與環(huán)境的關(guān)鍵樞紐。生活、工業(yè)、醫(yī)療、教育等多個(gè)行業(yè),正在被一批更“主動(dòng)”、更“擬人化”的終端智能體重新定義交互方式。它們不再是傳統(tǒng)意義上的智能終端,也不是完全云端運(yùn)行的AI Agent,而是一種運(yùn)行在“端側(cè)”的智能體。
白皮書指出,隨著模型越來越懂用戶、操作越來越自動(dòng),終端智能體的風(fēng)險(xiǎn)邊界也在拓展:不再只是“數(shù)據(jù)泄露”這么簡單,而是向模型行為、身份偽造、環(huán)境感知誤導(dǎo),甚至算法倫理等深層問題蔓延。
中國信通院華東分院人工智能事業(yè)部主任常永波介紹道,在AI Agent成為“下一代操作系統(tǒng)”的當(dāng)下,對安全設(shè)施的梳理,尤為必要。為了應(yīng)對這些高度復(fù)雜、層層遞進(jìn)的安全風(fēng)險(xiǎn),白皮書提出了三大防護(hù)路徑:單智能體安全、多智能體可信互連、AI終端安全,希望作為一份全面且具針對性的、可參考的智能體安全指引。
圖說:《終端智能體安全2025》白皮書首次提出終端智能體安全體系
白皮書首次提出終端智能體安全體系,在技術(shù)生態(tài)體系的支撐下,單智能體安全技術(shù)包括安全護(hù)欄、數(shù)據(jù)去毒、基座對齊和柔性管理,多智能體可信互連技術(shù)則包括可信數(shù)據(jù)流轉(zhuǎn)、可信服務(wù)流轉(zhuǎn)、可信身份認(rèn)證和可信記憶共享,AI 終端安全技術(shù)可信隱私沙箱、跨設(shè)備可信連接等,共同支撐AI/AR眼鏡、智能手機(jī)助手、智能座駕等行業(yè)應(yīng)用。
值得一提的是,白皮書提出,智能體可信互連的核心,在于構(gòu)建“可信”的智能體協(xié)作環(huán)境,具體體現(xiàn)在四個(gè)關(guān)鍵維度:可信連接、可信鑒權(quán)、可信意圖、可信授權(quán)。它就像智能體世界的 “安全衛(wèi)士”,從身份驗(yàn)證到數(shù)據(jù)傳輸,從需求處理到結(jié)果追溯,全程筑牢安全防線。
作為發(fā)布單位之一,IIFAA聯(lián)盟一直致力于推動(dòng)行業(yè)共同制定跨智能體交互的相關(guān)安全技術(shù)規(guī)范,共建開放、合作、共贏的智能體生態(tài)。聯(lián)盟技術(shù)負(fù)責(zé)人萬小飛表示,在智能終端快速發(fā)展的今天,單獨(dú)一家企業(yè)很難承擔(dān)構(gòu)建智能終端可信體系的任務(wù),智能終端的可信體系,需要生態(tài)共建共贏。“呼吁整個(gè)生態(tài),共同完善智能體可信基礎(chǔ)設(shè)施,共建智能體可信互連生態(tài),最終共筑智能體協(xié)作信任網(wǎng)絡(luò)。”
據(jù)了解,今年4月,IIFAA聯(lián)盟推出業(yè)內(nèi)首個(gè)智能體可信互連技術(shù)ASL(Agent Security Link),該技術(shù)可以在MCP等協(xié)議的基礎(chǔ)之上,保障各個(gè)智能體協(xié)作中在權(quán)限、數(shù)據(jù)、隱私等方面的安全,為Agent互連提供安全、可信的協(xié)作保障。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...