欧美肥婆性猛交xxxx,欧美日韩一本无线码专区,国产人体艺术无码的在线观看
首頁(yè) > 資訊 > 數(shù)字化

元象開(kāi)源650億參數(shù)高性能大模型

2023/11/07 14:44      投資界綜合


  國(guó)內(nèi)此前開(kāi)源了多個(gè)70到130億參 數(shù)大模型,落地成果涌現(xiàn),開(kāi)源生態(tài)系統(tǒng)初步建立。隨著智能體(AI Agent)等任務(wù)復(fù)雜性與數(shù)據(jù)量的提升,業(yè)界與社區(qū)對(duì)更“大”模型的需求愈發(fā)迫切。

  研究表明,參數(shù)量越高,高質(zhì)量訓(xùn)練數(shù)據(jù)越多,大模型性能才能不斷提升。而業(yè)界普遍共識(shí)是 達(dá)到500到600億參數(shù)門(mén)檻,大模型才能“智能涌現(xiàn)” ,在多任務(wù)中展現(xiàn)強(qiáng)大性能。但訓(xùn)練此量級(jí)模型成本高昂,技術(shù)要求較高,目前主要為閉源付費(fèi)提供。

  在國(guó)外開(kāi)源生態(tài)中,Llama2-70B和Falcon-180B等標(biāo)桿模型為“有條件”開(kāi)源,設(shè)置了月活躍用戶(hù)數(shù)或收入等商用上限,并因缺乏訓(xùn)練數(shù)據(jù)在中文能力上有明顯短板。此外,美國(guó)新近頒布的AI芯片禁令,或?qū)⑦M(jìn)一步限制中國(guó)大模型產(chǎn)業(yè)發(fā)展的速度。 業(yè)界迫切呼吁一個(gè)高性能?chē)?guó)產(chǎn)“大”模型,填補(bǔ)生態(tài)空白, 為中文應(yīng)用提供更強(qiáng)大的理解、推理和長(zhǎng)文生成能力。

  為推動(dòng)國(guó)產(chǎn)大模型開(kāi)源生態(tài)繁榮與產(chǎn)業(yè)應(yīng)用快速發(fā)展,元象XVERSE公司宣布 開(kāi)源650億參數(shù)高性能通用大模型XVERSE-65B,無(wú)條件免費(fèi)商用,業(yè)界尚屬首次。 13B模型全面升級(jí),提高“小”模型能力上限。這將讓海量中小企業(yè)、研究者和AI開(kāi)發(fā)者 更早一步實(shí)現(xiàn)“大模型自由” ,根據(jù)其算力、資源限制和具體任務(wù)需求,自由使用、修改或蒸餾元象大模型,推動(dòng)研究與應(yīng)用的突破創(chuàng)新。

  元象XVERSE創(chuàng)始人姚星表示:“面對(duì)研發(fā)時(shí)間緊、算力持續(xù)短缺等挑戰(zhàn),團(tuán)隊(duì)依靠豐富經(jīng)驗(yàn),三個(gè)月內(nèi)研發(fā)出多款高性能7B、13B模型,并最早為社區(qū)獻(xiàn)上一個(gè)‘大有可為’的65B模型,為研究、商業(yè)及生態(tài)創(chuàng)造三重價(jià)值。”

  具體而言,研發(fā)上,65B將為新技術(shù)、新工具、性能優(yōu)化到模型安全提供“大杠桿”,讓社區(qū)快速累積經(jīng)驗(yàn),也有助于推動(dòng)國(guó)家科技自主可控的長(zhǎng)遠(yuǎn)目標(biāo)。商業(yè)上,海量中小企業(yè)能以零成本用上“大工具”,可突破局限,推動(dòng)應(yīng)用顯著創(chuàng)新。元象也能深入了解用例、安全模型部署和潛在機(jī)會(huì)。在開(kāi)發(fā)者生態(tài)上,社區(qū)能充分發(fā)揮組織協(xié)同優(yōu)勢(shì),推動(dòng)研發(fā)應(yīng)用的“寒武紀(jì)大爆發(fā)”。

元象開(kāi)源650億參數(shù)高性能大模型,無(wú)條件免費(fèi)商用

  開(kāi)源可免費(fèi)商用大模型圖譜

  全鏈條自研 多項(xiàng)技術(shù)創(chuàng)新

  XVERSE-65B底座模型在2.6萬(wàn)億Tokens的高質(zhì)量數(shù)據(jù)上從頭訓(xùn)練,上下文窗口擴(kuò)展至16K,支持中、英、俄、法等40多種語(yǔ)言。XVERSE-65B Chat版也將在近期發(fā)布。

  元象堅(jiān)持“高性能”定位,顯著提升了65B三方面能力: 一、理解、生成、推理和記憶等基礎(chǔ)能力,到 模型的多樣性、創(chuàng)造性和精度表現(xiàn),從優(yōu)異到強(qiáng)大;二、擴(kuò)展了工具調(diào)用、代碼解釋、反思修正等能力,為構(gòu)建智能體(AI Agent)奠定技術(shù)基礎(chǔ),提高模型實(shí)用性;三、顯著緩解7B、13B中常見(jiàn)且可能很?chē)?yán)重的幻覺(jué)問(wèn)題,減少大模型“胡說(shuō)八道”,提高準(zhǔn)確性和專(zhuān)業(yè)度。

  元象大模型系列均為全鏈條自研,涵蓋多項(xiàng)關(guān)鍵技術(shù)與研發(fā)創(chuàng)新:

  復(fù)雜分布式系統(tǒng)設(shè)計(jì):借鑒團(tuán)隊(duì)研發(fā)騰訊圍棋AI“絕藝”、*榮耀AI“絕悟”等大系統(tǒng)上的豐富經(jīng)驗(yàn),自研高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)與框架協(xié)同等關(guān)鍵技術(shù),打造高效穩(wěn)定的訓(xùn)練系統(tǒng), 千卡集群峰值算力利用率達(dá)58.5%,位居業(yè)界前列。

  全面提升性能:65B訓(xùn)練中采用 FlashAttention2加速計(jì)算, 3D并行基礎(chǔ)上采用虛擬流水線(virtual pipeline)技術(shù),降低較長(zhǎng)流水線產(chǎn)生過(guò)高氣泡率,提升計(jì)算推理效率; 上下文窗口長(zhǎng)度從8K逐步提升到16K,使其不僅能出色完成復(fù)雜任務(wù),包括長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話,還拓展了工具調(diào)用、代碼解釋及反思修正能力,能更好構(gòu)建智能體(AI Agent)。

  *提升訓(xùn)練穩(wěn)定性:因計(jì)算量龐大,通信擁塞、芯片過(guò)熱或計(jì)算節(jié)點(diǎn)故障成為65B訓(xùn)練常態(tài),初期出現(xiàn)過(guò)一周最高八次故障的情況。通過(guò)集群基礎(chǔ)設(shè)施運(yùn)營(yíng)、資源調(diào)度、訓(xùn)練框架和調(diào)度平臺(tái)協(xié)同等持續(xù)優(yōu)化,元象打造出高穩(wěn)定、低中斷、強(qiáng)容錯(cuò)的訓(xùn)練系統(tǒng),將每周有效訓(xùn)練率提升至98.6%。

  此外,在接近1.6萬(wàn)億Tokens的模型訓(xùn)練中期,損失函數(shù)產(chǎn)生了NaN值,可能導(dǎo)致訓(xùn)練中斷。通常情況下,業(yè)界一般會(huì)在分析后刪除與之相關(guān)的數(shù)據(jù)區(qū)間。而團(tuán)隊(duì)根據(jù)經(jīng)驗(yàn)判定這是模型自然演化,選擇不刪除數(shù)據(jù),直接跳過(guò)相關(guān)參數(shù)更新,最終 NaN值 問(wèn)題解決。后期對(duì) 參數(shù)值、激活值、梯度值等中間狀態(tài)的進(jìn)一步分析表明,該問(wèn)題可能 與模型最后一層transformer block激活值的*值變化有關(guān),并會(huì)隨*值的逐漸降低而自行解決。

IT產(chǎn)業(yè)網(wǎng)微信二維碼logo

  榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。

海報(bào)生成中...

分享到微博

掃描二維碼分享到微信

分享到微信
一鍵復(fù)制
標(biāo)題鏈接已成功復(fù)制

最新新聞

熱門(mén)新聞