國內(nèi)此前開源了多個70到130億參 數(shù)大模型，落地成果涌現(xiàn)，開源生態(tài)系統(tǒng)初步建立。隨著智能體(AI Agent)等任務復雜性與數(shù)據(jù)量的提升，業(yè)界與社區(qū)對更“大”模型的需求愈發(fā)迫切。

　　研究表明，參數(shù)量越高，高質(zhì)量訓練數(shù)據(jù)越多，大模型性能才能不斷提升。而業(yè)界普遍共識是 達到500到600億參數(shù)門檻，大模型才能“智能涌現(xiàn)” ，在多任務中展現(xiàn)強大性能。但訓練此量級模型成本高昂，技術(shù)要求較高，目前主要為閉源付費提供。

　　在國外開源生態(tài)中，Llama2-70B和Falcon-180B等標桿模型為“有條件”開源，設置了月活躍用戶數(shù)或收入等商用上限，并因缺乏訓練數(shù)據(jù)在中文能力上有明顯短板。此外，美國新近頒布的AI芯片禁令，或?qū)⑦M一步限制中國大模型產(chǎn)業(yè)發(fā)展的速度。 業(yè)界迫切呼吁一個高性能國產(chǎn)“大”模型，填補生態(tài)空白， 為中文應用提供更強大的理解、推理和長文生成能力。

　　為推動國產(chǎn)大模型開源生態(tài)繁榮與產(chǎn)業(yè)應用快速發(fā)展，元象XVERSE公司宣布 開源650億參數(shù)高性能通用大模型XVERSE-65B，無條件免費商用，業(yè)界尚屬首次。 13B模型全面升級，提高“小”模型能力上限。這將讓海量中小企業(yè)、研究者和AI開發(fā)者 更早一步實現(xiàn)“大模型自由” ，根據(jù)其算力、資源限制和具體任務需求，自由使用、修改或蒸餾元象大模型，推動研究與應用的突破創(chuàng)新。

　　元象XVERSE創(chuàng)始人姚星表示：“面對研發(fā)時間緊、算力持續(xù)短缺等挑戰(zhàn)，團隊依靠豐富經(jīng)驗，三個月內(nèi)研發(fā)出多款高性能7B、13B模型，并最早為社區(qū)獻上一個‘大有可為’的65B模型，為研究、商業(yè)及生態(tài)創(chuàng)造三重價值。”

　　具體而言，研發(fā)上，65B將為新技術(shù)、新工具、性能優(yōu)化到模型安全提供“大杠桿”，讓社區(qū)快速累積經(jīng)驗，也有助于推動國家科技自主可控的長遠目標。商業(yè)上，海量中小企業(yè)能以零成本用上“大工具”，可突破局限，推動應用顯著創(chuàng)新。元象也能深入了解用例、安全模型部署和潛在機會。在開發(fā)者生態(tài)上，社區(qū)能充分發(fā)揮組織協(xié)同優(yōu)勢，推動研發(fā)應用的“寒武紀大爆發(fā)”。

　　開源可免費商用大模型圖譜

　　全鏈條自研 多項技術(shù)創(chuàng)新

　　XVERSE-65B底座模型在2.6萬億Tokens的高質(zhì)量數(shù)據(jù)上從頭訓練，上下文窗口擴展至16K，支持中、英、俄、法等40多種語言。XVERSE-65B Chat版也將在近期發(fā)布。

　　元象堅持“高性能”定位，顯著提升了65B三方面能力： 一、理解、生成、推理和記憶等基礎(chǔ)能力，到 模型的多樣性、創(chuàng)造性和精度表現(xiàn)，從優(yōu)異到強大;二、擴展了工具調(diào)用、代碼解釋、反思修正等能力，為構(gòu)建智能體(AI Agent)奠定技術(shù)基礎(chǔ)，提高模型實用性;三、顯著緩解7B、13B中常見且可能很嚴重的幻覺問題，減少大模型“胡說八道”，提高準確性和專業(yè)度。

　　元象大模型系列均為全鏈條自研，涵蓋多項關(guān)鍵技術(shù)與研發(fā)創(chuàng)新：

　　復雜分布式系統(tǒng)設計：借鑒團隊研發(fā)騰訊圍棋AI“絕藝”、*榮耀AI“絕悟”等大系統(tǒng)上的豐富經(jīng)驗，自研高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計算-通信重疊、平臺與框架協(xié)同等關(guān)鍵技術(shù)，打造高效穩(wěn)定的訓練系統(tǒng)， 千卡集群峰值算力利用率達58.5%，位居業(yè)界前列。

　　全面提升性能：65B訓練中采用 FlashAttention2加速計算， 3D并行基礎(chǔ)上采用虛擬流水線(virtual pipeline)技術(shù)，降低較長流水線產(chǎn)生過高氣泡率，提升計算推理效率; 上下文窗口長度從8K逐步提升到16K，使其不僅能出色完成復雜任務，包括長文理解、長文生成和超長對話，還拓展了工具調(diào)用、代碼解釋及反思修正能力，能更好構(gòu)建智能體(AI Agent)。

　　*提升訓練穩(wěn)定性：因計算量龐大，通信擁塞、芯片過熱或計算節(jié)點故障成為65B訓練常態(tài)，初期出現(xiàn)過一周最高八次故障的情況。通過集群基礎(chǔ)設施運營、資源調(diào)度、訓練框架和調(diào)度平臺協(xié)同等持續(xù)優(yōu)化，元象打造出高穩(wěn)定、低中斷、強容錯的訓練系統(tǒng)，將每周有效訓練率提升至98.6%。

　　此外，在接近1.6萬億Tokens的模型訓練中期，損失函數(shù)產(chǎn)生了NaN值，可能導致訓練中斷。通常情況下，業(yè)界一般會在分析后刪除與之相關(guān)的數(shù)據(jù)區(qū)間。而團隊根據(jù)經(jīng)驗判定這是模型自然演化，選擇不刪除數(shù)據(jù)，直接跳過相關(guān)參數(shù)更新，最終 NaN值 問題解決。后期對 參數(shù)值、激活值、梯度值等中間狀態(tài)的進一步分析表明，該問題可能 與模型最后一層transformer block激活值的*值變化有關(guān)，并會隨*值的逐漸降低而自行解決。