與去年百模大戰(zhàn)、靠算力堆出通用大模型不同，今年的大模型產(chǎn)業(yè)落地，要靠業(yè)務(wù)跑出來。

　　文|趙艷秋 徐鑫

　　編|�；�

　　今年是大模型產(chǎn)業(yè)落地元年。從年初到現(xiàn)在，客戶對大模型的預(yù)期越來越高，要求解決更多的業(yè)務(wù)場景問題。

　　在這個過程中，智能體正在爆發(fā)——越來越多的客戶希望自身應(yīng)用，能向下一代智能體(Agent)的方向演進(jìn)。

　　簡單說，如果將大模型比作大腦，智能體就像是大腦的手腳和四肢。它能拆解客戶復(fù)雜的需求，調(diào)用工作流和工具，成為一個真正的業(yè)務(wù)小助手。由于它的門檻足夠低，可以讓更多人入門。而今天大多數(shù)AI原生應(yīng)用，幾乎都能用智能體搭建。

　　業(yè)界所有大模型公司和生態(tài)企業(yè)都在做智能體。這也意味著，大模型落地已進(jìn)入“必卷智能體”的階段。

　　在7月30日于上海舉辦的2024京東云峰會上，京東正式發(fā)布言犀智能體平臺，它是一站式智能體開發(fā)平臺。京東云判斷，智能體、數(shù)字人、具身智能是未來大模型與終端用戶的核心交互介質(zhì)。其中，智能體更偏云端，是企業(yè)AI原生應(yīng)用的重要推手。

　　實際上，京東云此次發(fā)布了包括言犀智能體平臺在內(nèi)的、支持大模型落地的全棧產(chǎn)品，加速大模型全場景落地。

　　“通用大模型靠算力堆出來，企業(yè)大模型則靠業(yè)務(wù)跑出來。”京東技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬在云峰會上說。通過日臻完善的產(chǎn)品和工具平臺體系，大模型才能與產(chǎn)業(yè)結(jié)合，發(fā)揮最大潛力。

　　數(shù)智前線獲悉，京東云大模型全棧產(chǎn)品是在京東供應(yīng)鏈這一超級孵化器中孵化而來。目前，在京東內(nèi)部已有超過100個大模型的應(yīng)用，支撐了超過60萬員工和20萬的商家的應(yīng)用。

　　01

　　“一線對智能體的熱情令我驚訝”

　　京東相關(guān)負(fù)責(zé)人表示，在實踐中感受到，智能體是今年大模型落地中，應(yīng)用效果最好的工具平臺之一。

　　京東發(fā)布的言犀智能體平臺，實際上是一個“內(nèi)生外化”的產(chǎn)品。它從去年10月開始研發(fā)，今年春季在京東和一些生態(tài)鏈企業(yè)開放使用，僅僅幾個月時間里，員工就搭建了3300多個智能體。“讓我們驚訝。”該負(fù)責(zé)人說。同時，平臺上也形成了上千個工作流、知識庫，受歡迎程度，超出預(yù)期。

　　“這可能與京東業(yè)務(wù)人員多，鏈條又足夠長有關(guān)。”一個有趣的現(xiàn)象是，過去一些年，京東在核心的零售供應(yīng)鏈，投入了大量AI算法團(tuán)隊。而這次大模型的變革，卻為那些過去沒有被AI影響到的群體，帶來顛覆性的變化。一線業(yè)務(wù)、職能、產(chǎn)品經(jīng)理等都結(jié)合自己的工作，創(chuàng)建Agent。

　　比如，有人搭建了長視頻剪輯Agent。因為京東內(nèi)部有大量培訓(xùn)視頻要剪輯，過去大家要手動去找到相應(yīng)部分，再用剪輯軟件去剪，一周只能剪幾個。現(xiàn)在這個視頻剪輯助手，只要上傳視頻和要求，就可以利用大模型多模態(tài)能力，找到對應(yīng)的幀，員工再去剪輯，一周可以完成上百個。

　　另一個智能小哥助手，為快遞小哥做路徑規(guī)劃、智能提示，解放他們的雙手;在京東的智能體市場上，有大量活躍的Agent。有電話營銷質(zhì)檢智能體，已產(chǎn)生百萬級訪問量，替代人工做營銷電話的審核與校驗......此外，京東有超60萬員工，還有大量通用場景智能體，如報銷類、學(xué)習(xí)類。

　　由于針對大量一線員工使用，言犀智能體平臺支持了零代碼開發(fā)，讓沒有算法背景的員工，也能通過可視化、拖拽方式來搭建智能體。“智能體平臺就是讓每一份AI靈感都能快速落地。”京東相關(guān)負(fù)責(zé)人對此深有體會。

　　智能體給組織協(xié)作也帶來了改變。之前一些業(yè)務(wù)部門協(xié)同時，要找對方拉會，需要開發(fā)還要制定排期。現(xiàn)在大家自發(fā)把各自的工具和API注冊到智能體平臺上，實現(xiàn)了底層能力的鏈接，其他部門員工可直接調(diào)用，協(xié)作也變得不一樣。

　　在經(jīng)歷內(nèi)部錘煉后，言犀智能體平臺對外開放。在商業(yè)模式上，提供公有云和私有化部署。

　　市場上已推出的智能體平臺，不少側(cè)重在個人開發(fā)者，但言犀智能體平臺更針對行業(yè)。它在內(nèi)部孵化時，獲得京東零售、健康、物流各板塊的廣泛使用，沉淀了相應(yīng)的行業(yè)解決方案。這次發(fā)布中，言犀智能體平臺預(yù)置了相關(guān)配置模版和插件，以及100多種行業(yè)解決方案，客戶用1分鐘即可構(gòu)建專屬智能體。

　　針對企業(yè)如何用好智能體，京東相關(guān)負(fù)責(zé)人建議，尤其要注意兩方面：一是要持續(xù)挖掘爆款，打造標(biāo)桿。比如，京東每周會根據(jù)數(shù)據(jù)，選拔智能體在官方市場上架，吸引更多人使用。“黑客馬拉松則再將其推高一個檔次，一浪高過一浪。”

　　另一則與平臺運營相關(guān)。如何支撐成千上萬員工的應(yīng)用?一方面要建立有企業(yè)特色的類目體系，將成千上萬的智能體分好類，方便大家查找;另一是及時沉淀成熟解決方案，用戶可以直接使用。

　　智能體做出的AI原生應(yīng)用，給企業(yè)軟件市場也帶來變化。一些智能體直接替代了原有企業(yè)的SaaS軟件，一些則嵌入到SaaS系統(tǒng)中去。言犀智能體平臺也提供了簡單的應(yīng)用發(fā)布環(huán)節(jié)，企業(yè)可將搭建的智能體通過Web、API等方式，發(fā)布到內(nèi)部IM，如企業(yè)微信及協(xié)同辦公渠道。

　　業(yè)界看到，Agent目前仍然處于非常初級的階段，未來會產(chǎn)生更多意想不到的Agent能力，這有賴于長千上萬的企業(yè)應(yīng)用者。他們使用的過程，將是AI Agent進(jìn)化的過程。

　　02

　　智能體背后，大模型的鍛造流水線

　　言犀智能體平臺目前已接入數(shù)十個大模型。而這些模型，由言犀AI開發(fā)計算平臺輸送而來。在上海云峰會期間，言犀AI開發(fā)計算平臺全面升級到2.0，并根據(jù)大模型落地關(guān)鍵點，突出了其中的關(guān)鍵能力。

　　第一個能力是模型壓縮+模型拉升。從去年底開始，各家企業(yè)的主要精力，都是根據(jù)客戶的使用場景，在基礎(chǔ)大模型上裁剪、拉升出各種小模型。曹鵬介紹，這是因為即便經(jīng)歷了軍備競賽式的投入，通用大模型到了真正的場景里，“仍差了那薄薄的一層紙，需要專門調(diào)優(yōu)”。而且不少場景要求模型反應(yīng)速度要快，推理成本要低，小模型的市場反而更大。

　　目前，企業(yè)一般是采用一個模型群組，來實現(xiàn)不同場景的應(yīng)用。這些模型群組，需要對通用大模型進(jìn)行萃取壓縮，以及灌注企業(yè)知識進(jìn)行放大而來。在言犀AI開發(fā)計算平臺上，用戶可通過零代碼方式，通過這樣的推和拉，能快速獲取到一個企業(yè)的專業(yè)模型。同時，推理的成本降低100%，速度提升1.5倍。

　　“目前業(yè)界通常分兩步走——壓縮和垂域模型微調(diào)。”京東人工智能業(yè)務(wù)部相關(guān)負(fù)責(zé)人說，但言犀AI開發(fā)計算平臺可在壓縮的過程中，將垂域知識灌注進(jìn)去。這也是京東廣泛采納的一個方案。

　　第二個能力是數(shù)據(jù)準(zhǔn)備。每個行業(yè)都有大量數(shù)據(jù)，包括多模態(tài)數(shù)據(jù)。這需要工具鏈具備極強(qiáng)的處理能力。

　　同時，過程數(shù)據(jù)的缺失，是業(yè)界落地大模型中，遇到的最大障礙。“比如我們看到一個癥狀，以及專家的處置建議，但并不知道專家的推理邏輯是什么。”京東健康相關(guān)負(fù)責(zé)人告訴數(shù)智前線，如果沒有推理邏輯，就解決不了幻覺問題。

　　“我們今天花了很大力氣，通過專家和大模型去補(bǔ)充。”一種是通過RAG的方式，這是當(dāng)下業(yè)界必不可少的技術(shù)，給模型文獻(xiàn)資料，讓它自動化地捕捉推理鏈路;另一種通過專家來補(bǔ)充。工具平臺能不能幫專家團(tuán)隊提效，也是業(yè)界在拼的技術(shù)關(guān)鍵。

　　此外，大模型合成數(shù)據(jù)非常火爆。“如何在垂域合成數(shù)據(jù)，與種子數(shù)據(jù)比較貼近，團(tuán)隊也做了深入工作。”京東人工智能業(yè)務(wù)部相關(guān)負(fù)責(zé)人說。

　　第三個能力是模型評估。它包括通用能力評估以及垂域能力評估。針對通用大模型評測，市場上有一些不錯的榜單，公開了代碼和評測數(shù)據(jù)集，可以自動評測，直接出分。“要先保通用能力。如果沒有通用能力，就沒有垂域。”

　　至于垂域評測，京東在健康、零售等有評測數(shù)據(jù)集，用戶在調(diào)完模型后，也能再評測垂域。這也是自動化的。當(dāng)然，也有一些人工評測，比如健康場景中人更懂業(yè)務(wù)，平臺也提供類似眾包的方式，讓大家參與評測。

　　在產(chǎn)業(yè)之中，構(gòu)建一個評測系統(tǒng)非常關(guān)鍵。“與其說怎么訓(xùn)練好一個垂域模型，不如有一個評測體系能告訴你，模型該往哪個方向去進(jìn)步，這件事情尤其重要。”除了工具平臺外，京東也搭建了評測團(tuán)隊，“這是我們的幕后英雄”。

　　03

　　AI大底座，加速大模型全場景落地

　　伴隨著大模型及智能體應(yīng)用到產(chǎn)業(yè)一線，業(yè)界發(fā)現(xiàn)，計算、網(wǎng)絡(luò)、存儲等底層基礎(chǔ)設(shè)施也需要適應(yīng)新局面，解決新挑戰(zhàn)。

　　最典型的一點，當(dāng)下產(chǎn)業(yè)端的大模型應(yīng)用實踐，要打造更開放的基礎(chǔ)設(shè)施平臺，比如支持多云、多芯、多活，能夠承接多種模型，從而滿足復(fù)雜的應(yīng)用場景和業(yè)務(wù)需求。

　　目前，多模態(tài)大模型的打造，需要的算力是之前的10倍甚至百倍。全球企業(yè)都有一個特點，基于異構(gòu)算力，來完成模型的訓(xùn)練、調(diào)用和推理，解決普遍面臨的算力緊缺并提升性價比。

　　除了計算，在存儲方面，模型訓(xùn)練高峰時段可能在數(shù)十秒內(nèi)就要處理 TB 級別的數(shù)據(jù)存儲，而傳統(tǒng)應(yīng)用中，這些海量小文件的處理任務(wù)，可分散在幾個月時間跨度里完成。這使得存儲產(chǎn)品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時進(jìn)化。“同樣的GPU算力規(guī)模下，存儲性能的高低，可能帶來模型訓(xùn)練周期3倍的差異。”曹鵬在演講中提到。

　　在Scaling law之下，超大規(guī)模集群對硬件間的網(wǎng)絡(luò)效率提出挑戰(zhàn)。不久前，馬斯克高調(diào)披露已建成10萬卡***超級算力中心，業(yè)界對背后的網(wǎng)絡(luò)架構(gòu)——英偉達(dá)Spectrum-X也極為關(guān)注。畢竟，穩(wěn)健、低延遲的網(wǎng)絡(luò)關(guān)乎到集群里的計算資源能否被充分利用。

　　這些動向都表明，基礎(chǔ)設(shè)施關(guān)乎大模型的落地進(jìn)程。而在這場系統(tǒng)戰(zhàn)面前，廠商們需要構(gòu)建更強(qiáng)大的AI底座，才能加速大模型在全場景落地。

　　京東云峰會上，披露了京東云AI底座的最近演進(jìn)。如在高性能的存力方面，作為京東云自主研發(fā)的新一代存儲產(chǎn)品云海，歷經(jīng)了10余年京東自身復(fù)雜場景歷練，能提供大模型超大量數(shù)據(jù)傳輸所需的極致性能。

　　峰會上，全面升級到3.0版本的京東云云海，在吞吐、帶寬、延時等性能上進(jìn)一步提升，為大模型全面落地提供了更堅實的支撐。云海也與所有主流國產(chǎn)化平臺兼容互認(rèn)。

　　據(jù)了解，目前京東云云海在建設(shè)銀行等重量級金融機(jī)構(gòu)中大模型訓(xùn)練中，提供了底層數(shù)據(jù)存儲的支撐。同時在上層應(yīng)用上，也通過數(shù)據(jù)要素的合作，幫助這些企業(yè)去做線上數(shù)字化轉(zhuǎn)型。

　　在算力層面，京東打造了云艦AI算力云平臺。它具備了對多元異構(gòu)算力資源的統(tǒng)一管理和調(diào)度能力，包括各類CPU、GPU和國產(chǎn)化AI加速芯片，支持多地域分布式算力的統(tǒng)一調(diào)度，提供高性價比的算力供給。

　　另外，vGPU池化方案，通過GPU異構(gòu)資源池化，能將AI算力利用率提升70%，可有效降低算力成本。行業(yè)普遍存在算力焦慮，這也是京東云提供的一種解法。

　　此外，京東云大模型安全可信平臺，涵蓋超過200種特有的紅藍(lán)對抗攻擊手法，覆蓋監(jiān)管合規(guī)要求的全部31類風(fēng)險類型，風(fēng)險分析準(zhǔn)確率高達(dá)95%以上。

　　針對大模型企業(yè)今年以來的價格戰(zhàn)，曹鵬提到，去年京東云峰會就提過要通過技術(shù)升級來降低成本，要全網(wǎng)比價，對標(biāo)主流云廠商的最低成交價再低10%。目前，京東云有超過100個產(chǎn)品規(guī)格通過比價售賣，并設(shè)立10億比價金，把技術(shù)帶來的紅利回饋給開發(fā)者群體。

　　總體而言，在2024京東云峰會中，京東通過發(fā)布從基礎(chǔ)設(shè)施、模型服務(wù)，再到智能體應(yīng)用的全棧產(chǎn)品，正加速與產(chǎn)業(yè)的融合，從而讓更多企業(yè)的大模型落地，通過業(yè)務(wù)跑出來。