螞蟻開源ATorch 、 Lookahead兩項大模型技術(shù)

　　最近，螞蟻開源了兩項與大模型相關(guān)的新技術(shù):ATorch 和 Lookahead。

　　ATorch 是一個大模型分布式訓(xùn)練加速擴展庫，可實現(xiàn)深度學(xué)習(xí)自動資源動態(tài)優(yōu)化和分布式訓(xùn)練穩(wěn)定性提升，可提升深度學(xué)習(xí)的智能性，千億模型千卡級別訓(xùn)練的算力利用率可達60%。

　　Lookahead 是一個推理加速框架，可以大幅提升大模型的推理效率，可將推理加速2-6倍。

　　ATorch 采用了分層架構(gòu)設(shè)計，功能清晰、設(shè)計全面，為開發(fā)者提供極致精簡的開發(fā)體驗。作為 PyTorch 框架的高性能擴展加速庫，ATorch 最少化用戶代碼侵入，為千億參數(shù)大模型千卡級訓(xùn)練提供易用的高性能方案。在實踐中，ATorch 已經(jīng)在多個開源模型的訓(xùn)練優(yōu)化實踐中表現(xiàn)出色，將算力利用率提升了很多，并且穩(wěn)定性也得到了顯著提升。ATorch 已集成到螞蟻集團的大模型訓(xùn)練開源產(chǎn)品 DLRover 中，讓大模型開發(fā)者能夠更專注于模型架構(gòu)的設(shè)計，而無需處理工程方面的細節(jié)。

　　Lookahead 是一個推理加速框架，可以將推理加速2-6倍。通過采用多分支策略，Lookahead 能夠在一次前向過程中生成更多的 Token，進一步壓榨硬件性能。此外，Lookahead 還利用 trie 樹存儲和檢索 Token 序列，并合并多條草稿中相同的父節(jié)點，提高計算效率。為了提高易用性，Lookahead 的 trie 樹構(gòu)建不依賴額外的草稿模型，只利用推理過程中的 prompt 及生成的回答進行動態(tài)構(gòu)建，降低了用戶的接入成本。