上周，一個名為“im-also-a-good-gpt2-chatbot”的神秘模型突然現(xiàn)身大模型競技場Chatbot Arena，排名直接超過GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b等各家國際大廠的當(dāng)家基座模型。

　　隨后OpenAI揭開“im-also-a-good-gpt2-chatbot”神秘面紗——正是GPT-4o的測試版本，OpenAI CEO Sam Altman也在Gpt-4o發(fā)布后親自轉(zhuǎn)帖引用 LMSYS arena 盲測擂臺的測試結(jié)果。

　　由開放研究組織 LMSYS Org (Large Model Systems Organization)發(fā)布的Chatbot Arena已經(jīng)成為OpenAI、Anthropic、Google、Meta等國際大廠“龍爭虎斗”的當(dāng)紅擂臺，以最開放與科學(xué)的評測方法，在大模型進入第二年之際開放群眾投票。

　　時隔一周，在最新更新的排名中，類“im-also-a-good-gpt2-chatbot”的黑馬故事再次上演，這次排名飛速上漲的模型正是由中國大模型公司零一萬物提交的“Yi-Large” 千億參數(shù)閉源大模型。

　　在 LMSYS 盲測競技場最新排名中，零一萬物的最新千億參數(shù)模型 Yi-Large 總榜排名世界模型第7，中國大模型中第一，已經(jīng)超過Llama-3-70B、Claude 3 Sonnet;其中文分榜更是與GPT4o 并列世界第一。

　　零一萬物也由此成為了總榜上唯一一個自家模型進入排名前十的中國大模型企業(yè)。在總榜上，GPT系列占了前10的4個，以機構(gòu)排序，零一萬物 01.AI 僅次于 OpenAI, Google, Anthropic之后，以開放金標(biāo)準(zhǔn)正式進擊國際頂級大模型企業(yè)陣營。

　　美國時間2024年5月20日剛刷新的 LMSYS Chatboat Arena 盲測結(jié)果，來自至今積累超過 1170萬的全球用戶真實投票數(shù)：

　　值得一提的是，為了提高 Chatbot Arena 查詢的整體質(zhì)量，LMSYS還實施了重復(fù)數(shù)據(jù)刪除機制，并出具了去除冗余查詢后的榜單。這個新機制旨在消除過度冗余的用戶提示，如過度重復(fù)的“你好”。這類冗余提示可能會影響排行榜的準(zhǔn)確性。LMSYS公開表示，去除冗余查詢后的榜單將在后續(xù)成為默認榜單。

　　在去除冗余查詢后的總榜中， Yi-Large的Elo得分更進一步，與Claude 3 Opus、GPT-4-0125-preview并列第四。

　　LMSYS 中文榜：GPT-4o 和 Yi-Large 并列第一

　　值得國人關(guān)注的是，國內(nèi)大模型廠商中，智譜GLM4、阿里Qwen Max、Qwen 1.5、零一萬物Yi-Large、Yi-34B-chat 此次都有參與盲測，在總榜之外，LMSYS 的語言類別上新增了英語、中文、法文三種語言評測，開始注重全球大模型的多樣性。Yi-Large的中文語言分榜上拔得頭籌，與 OpenAI 官宣才一周的地表最強 GPT4o 并列第一，Qwen-Max 和 GLM-4 在中文榜上也都表現(xiàn)不凡。

　　“最燒腦” 公開評測：Yi-Large 位居全球第二

　　在分類別的排行榜中，Yi-Large同樣表現(xiàn)亮眼。編程能力、長提問及最新推出的 “艱難提示詞” 的三個評測是LMSYS所給出的針對性榜單，以專業(yè)性與高難度著稱，可稱作大模型“最燒腦”的公開盲測。

　　在編程能力(Coding)排行榜上，Yi-Large 的Elo分數(shù)超過Anthropic 當(dāng)家旗艦?zāi)Ｐ?Claude 3 Opus，僅低于GPT-4o，與GPT-4-Turbo、GPT-4并列第二。

　　長提問(Longer Query)榜單上，Yi-Large同樣位列全球第二，與GPT-4-Turbo、GPT-4、Claude 3 Opus并列。

　　艱難提示詞(Hard Prompts)則是LMSYS為了響應(yīng)社區(qū)要求，于此次新增的排行榜類別。這一類別包含來自 Arena 的用戶提交的提示，這些提示則經(jīng)過專門設(shè)計，更加復(fù)雜、要求更高且更加嚴(yán)格。LMSYS認為，這類提示能夠測試最新語言模型面臨挑戰(zhàn)性任務(wù)時的性能。在這一榜單上，Yi-Large 處理艱難提示的能力也得到印證，與GPT-4-Turbo、GPT-4、Claude 3 Opus并列第二。

　　LMSYS Chatbot Arena：后benchmark時代的風(fēng)向標(biāo)

　　如何為大模型給出客觀公正的評測一直是業(yè)內(nèi)廣泛關(guān)注的話題。為了在固定題庫中取得一份亮眼的評測分數(shù)，業(yè)內(nèi)出現(xiàn)了各式各樣的“刷榜”方法：將各種各樣的評測基準(zhǔn)訓(xùn)練集直接混入模型訓(xùn)練集中、用未對齊的模型跟已經(jīng)對齊的模型做對比等等，對嘗試了解大模型真實能力的人，的確呈現(xiàn)“眾說紛紜”的現(xiàn)場，更讓大模型的投資人摸不著北。

　　在經(jīng)過2023年一系列錯綜復(fù)雜、亂象叢生的大模型評測浪潮之后，業(yè)界對于評測集的專業(yè)性和客觀性給予了更高的重視。而LMSYS Org 發(fā)布的Chatbot Arena憑借其新穎的“競技場”形式、測試團隊的嚴(yán)謹性，成為目前全球業(yè)界公認的基準(zhǔn)標(biāo)桿，連 OpenAI 在 GPT-4o 正式發(fā)布前，都在 LMSYS 上匿名預(yù)發(fā)布和預(yù)測試。

　　在海外大廠高管中，不只Sam Altman，Google DeepMind首席科學(xué)家Jeff Dean也曾引用LMSYS Chatbot Arena的排名數(shù)據(jù)，來佐證Bard產(chǎn)品的性能。

　　OpenAI創(chuàng)始團隊成員 Andrej Karpathy甚至公開表示，Chatbot Arena is “awesome”。

　　自身的旗艦?zāi)Ｐ桶l(fā)布后第一時間提交給LMSYS，這一行為本身就展現(xiàn)了海外頭部大廠對于Chatbot Arena的極大尊重。這份尊重既來自于LMSYS作為研究組織的權(quán)威背書，也來自于其新穎的排名機制。

　　公開資料顯示，LMSYS Org 是一個開放的研究組織，由加州大學(xué)伯克利分校的學(xué)生和教師、加州大學(xué)圣地亞哥分校、卡耐基梅隆大學(xué)合作創(chuàng)立。雖然主要人員出自高校，但LMSYS的研究項目卻十分貼近產(chǎn)業(yè)，他們不僅自己開發(fā)大語言模型，還向業(yè)內(nèi)輸出多種數(shù)據(jù)集(其推出的MT-Bench已是指令遵循方向的權(quán)威評測集)、評估工具，此外還開發(fā)分布式系統(tǒng)以加速大模型訓(xùn)練和推理，提供線上 live 大模型打擂臺測試所需的算力。

　　在形式上，Chatbot Arena借鑒了搜索引擎時代的橫向?qū)Ρ仍u測思路。它首先將所有上傳評測的“參賽”模型隨機兩兩配對，以匿名模型的形式呈現(xiàn)在用戶面前。隨后號召真實用戶輸入自己的提示詞，在不知道模型型號名稱的前提下，由真實用戶對兩個模型產(chǎn)品的作答給出評價，在盲測平臺 https://arena.lmsys.org/ 上，大模型們兩兩相比，用戶自主輸入對大模型的提問，模型A、模型B 兩側(cè)分別生成兩PK模型的真實結(jié)果，用戶在結(jié)果下方做出投票四選一：A模型較佳、B模型較佳，兩者平手，或是兩者都不好。提交后，可進行下一輪PK。

　　通過眾籌真實用戶來進行線上實時盲測和匿名投票，Chatbot Arena一方面減少偏見的影響，另一方面也最大概率避免基于測試集進行刷榜的可能性，以此增加最終成績的客觀性。在經(jīng)過清洗和匿名化處理后，Chatbot Arena還會公開所有用戶投票數(shù)據(jù)。得益于“真實用戶盲測投票”這一機制，Chatbot Arena被稱為大模型業(yè)內(nèi)最有用戶體感的奧林匹克。

　　在收集真實用戶投票數(shù)據(jù)之后，LMSYS Chatbot Arena還使用Elo評分系統(tǒng)來量化模型的表現(xiàn)，進一步優(yōu)化評分機制，力求公平反應(yīng)參與者的實力。

　　Elo評分系統(tǒng)，是一項基于統(tǒng)計學(xué)原理的權(quán)威性評價體系，由匈牙利裔美國物理學(xué)家Arpad Elo博士創(chuàng)立，旨在量化和評估各類對弈活動的競技水平。作為當(dāng)前國際公認的競技水平評估標(biāo)準(zhǔn)，Elo等級分制度在國際象棋、圍棋、足球、籃球、電子競技等運動中都發(fā)揮著至關(guān)重要的作用。

　　更通俗地來講，在Elo評分系統(tǒng)中，每個參與者都會獲得基準(zhǔn)評分。每場比賽結(jié)束后，參與者的評分會基于比賽結(jié)果進行調(diào)整。系統(tǒng)會根據(jù)參與者評分來計算其贏得比賽的概率，一旦低分選手擊敗高分選手，那么低分選手就會獲得較多的分數(shù)，反之則較少。通過引入Elo評分系統(tǒng)，LMSYS Chatbot Arena在最大程度上保證了排名的客觀公正。

　　Chatbot Arena的評測過程涵蓋了從用戶直接參與投票到盲測，再到大規(guī)模的投票和動態(tài)更新的評分機制等多個方面，這些因素共同作用，確保了評測的客觀性、權(quán)威性和專業(yè)性。毫無疑問，這樣的評測方式能夠更準(zhǔn)確地反映出大模型在實際應(yīng)用中的表現(xiàn)，為行業(yè)提供了一個可靠的參考標(biāo)準(zhǔn)。

　　Yi-Large 以小搏大緊追國際第一陣營，登頂國內(nèi)大模型盲測

　　此次Chatbot Arena共有44款模型參賽，既包含了頂尖開源模型Llama3-70B，也包含了各家大廠的閉源模型。

　　以最新公布的Elo評分來看，GPT-4o以1287分高居榜首，GPT-4-Turbo、Gemini 1 5 Pro、Claude 3 0pus、Yi-Large等模型則以1240左右的評分位居第二梯隊;其后的Bard (Gemini Pro)、Llama-3-70b-Instruct、Claude 3 sonnet的成績則斷崖式下滑至1200分左右。

　　值得一提的是，排名前6的模型分別歸屬于海外巨頭 OpenAI、Google、Anthropic，零一萬物位列全球第四機構(gòu)，且GPT-4、Gemini 1.5 Pro等模型均為萬億級別超大參數(shù)規(guī)模的旗艦?zāi)Ｐ停�其他模型也都在大幾千億參數(shù)級別。Yi-Large “以小搏大” 以僅僅千億參數(shù)量級緊追其后， 5月13日一經(jīng)發(fā)布便沖上世界排名第七大模型，與海外大廠的旗艦?zāi)Ｐ吞幱谕�一梯��。�?LMSYS Chatbot Arena 截至5月21日的總榜上，阿里巴巴的 Qwen-Max 大模型 Elo分數(shù)為1186，排名第12;智譜AI 的GLM-4 大模型 Elo分數(shù)為 1175，排名第15。

　　在當(dāng)前大模型步入商業(yè)應(yīng)用的浪潮中，模型的實際性能亟需通過具體應(yīng)用場景的嚴(yán)格考驗，以證明其真正的價值和潛力。過去那種僅要求表面光鮮的“作秀式”評測方式已不再具有實際意義。為了促進整個大模型行業(yè)的健康發(fā)展，整個行業(yè)必須追求一種更為客觀、公正且權(quán)威的評估體系。

　　在這樣的背景下，一個如Chatbot Arena這樣能夠提供真實用戶反饋、采用盲測機制以避免操縱結(jié)果、并且能夠持續(xù)更新評分體系的評測平臺，顯得尤為重要。它不僅能夠為模型提供公正的評估，還能夠通過大規(guī)模的用戶參與，確保評測結(jié)果的真實性和權(quán)威性。

　　無論是出于自身模型能力迭代的考慮，還是立足于長期口碑的視角，大模型廠商應(yīng)當(dāng)積極參與到像Chatbot Arena這樣的權(quán)威評測平臺中，通過實際的用戶反饋和專業(yè)的評測機制來證明其產(chǎn)品的競爭力。

　　這不僅有助于提升廠商自身的品牌形象和市場地位，也有助于推動整個行業(yè)的健康發(fā)展，促進技術(shù)創(chuàng)新和產(chǎn)品優(yōu)化。相反，那些選擇作秀式的評測方式，忽視真實應(yīng)用效果的廠商，模型能力與市場需求之間的鴻溝會越發(fā)明顯，最終將難以在激烈的市場競爭中立足。