中國(guó)電信發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型Tele-FLM-1T

　　中國(guó)電信人工智能研究院(TeleAI)和智源研究院聯(lián)合發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型 Tele-FLM-1T，該模型與百億級(jí)的 52B 版本，千億級(jí)的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。

　　TeleAI 和智源研究院基于模型生長(zhǎng)和損失預(yù)測(cè)等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺(tái) A800 服務(wù)器，用 4 個(gè)月完成 3 個(gè)模型總計(jì) 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好，Tele-FLM-1T 版本即將開源。

　　目前，TeleFLM 系列模型已經(jīng)全面開源了 52B 版本，核心技術(shù) (生長(zhǎng)技術(shù)、最優(yōu)超參預(yù)測(cè))、訓(xùn)練細(xì)節(jié) (loss 曲線、最優(yōu)超參、數(shù)據(jù)配比和 Grad Norm 等) 均開源，開源模型下載量過(guò)萬(wàn)，積累超 40 萬(wàn)用戶。

　　此外，中國(guó)電信在某市民生訴求場(chǎng)景項(xiàng)目上，通過(guò)引入 TeleChat-52B 模型能力，整體應(yīng)用效果提升 40%，達(dá)到行業(yè)領(lǐng)先水平。