近日，地平線成功在旭日3中的BPU®️計算單元上，部署運行參數(shù)規(guī)模高達(dá)14億的大語言模型(Large Language Model , LLM)。這不僅是業(yè)界在端側(cè)成功部署大模型的一次突破性實踐，更驗證了BPU®️對先進神經(jīng)網(wǎng)絡(luò)算法的高效支持，為大模型在端側(cè)實現(xiàn)產(chǎn)品級應(yīng)用拓展了更廣闊的想象空間。

　　大模型端側(cè)部署的技術(shù)實踐對加速智能化產(chǎn)業(yè)變革具有重要意義。端側(cè)部署具備實時性、低時延優(yōu)勢，能夠靈活支持弱網(wǎng)或無網(wǎng)等豐富場景，為終端用戶提供更流暢、穩(wěn)定的交互體驗;同時端側(cè)支持信息本地化處理，可有效保護用戶數(shù)據(jù)與隱私安全;端側(cè)計算還將大幅緩解云端算力壓力，端云協(xié)同更會驅(qū)動產(chǎn)業(yè)降本提效，加速實現(xiàn)大模型技術(shù)的應(yīng)用普惠。