微軟首席技術官(CTO)凱文・斯科特(Kevin Scott)上周在接受紅杉資本旗下播客采訪時，重申了他堅信大型語言模型 (LLM) 的“規(guī)模定律”將繼續(xù)推動人工智能進步的觀點，盡管該領域一些人懷疑進步已經停滯。斯科特在推動微軟與 OpenAI 達成 130 億美元的技術共享協(xié)議方面發(fā)揮了關鍵作用。

　　斯科特表示：“其他人可能持不同觀點，但我認為規(guī)�；�并未達到邊際收益遞減的臨界點。我想讓人們理解這里存在著一個指數(shù)級提升的過程，遺憾的是，你只能每隔幾年才能看到一次，因為建造超級計算機然后用它們訓練模型都需要時間。”

　　2020 年，OpenAI 研究人員探索了 LLM 的“規(guī)模定律”，該定律表明，隨著模型變得更大(參數(shù)更多)、訓練數(shù)據(jù)更多以及擁有更強大的計算能力，語言模型的性能往往會呈可預測的提升。這一定律意味著，僅僅增加模型規(guī)模和訓練數(shù)據(jù)，就能夠顯著提升人工智能能力，而無需取得根本性的算法突破。

　　然而，此后也有其他研究人員對“規(guī)模定律”的長期有效性提出質疑。不過，該概念仍是 OpenAI 人工智能研發(fā)理念的基石。斯科特所持的樂觀態(tài)度與部分人工智能領域批評人士的觀點形成鮮明對比，一些人認為，大型語言模型的進步在類似 GPT-4 的模型級別已經停滯不前。這種觀點主要基于對谷歌 Gemini 1.5 Pro、Anthropic 的 Claude Opus 以及 OpenAI 的 GPT-4o 等最新模型的非正式觀察和一些基準測試結果。一些人認為，這些模型并沒有像前幾代模型那樣取得飛躍性的進步，大型語言模型的發(fā)展可能正在接近“邊際收益遞減”的階段。

　　IT之家注意到，人工智能領域著名批評人士 Gary Marcus 在今年 4 月寫道：“GPT-3 明顯優(yōu)于 GPT-2，GPT-4(發(fā)布于 13 個月前)也明顯強于 GPT-3。但之后呢?”

　　斯科特所持的立場表明，像微軟這樣的科技巨頭仍然認為投資大型人工智能模型是合理的，他們押注于持續(xù)取得突破。考慮到微軟對 OpenAI 的投資以及大力營銷自家的人工智能協(xié)作工具“Microsoft Copilot”，該公司強烈希望維持人工智能領域持續(xù)進步的公眾認知，即使技術本身可能遇到瓶頸。

　　另一位人工智能領域知名批評人士 Ed Zitron 最近在其博客上寫道，有些人支持繼續(xù)投資生成式人工智能的一個理由是，“OpenAI 掌握著我們不知道的某種技術，一項強大而神秘的技術，能夠徹底擊潰所有懷疑者的質疑。”他寫道，“但事實并非如此。”

　　公眾對大型語言模型能力提升放緩的認知，以及基準測試的結果，部分原因可能在于人工智能最近才進入公眾視野，而事實上，大型語言模型已經發(fā)展多年。OpenAI 在 2020 年發(fā)布 GPT-3 之后的三年中一直持續(xù)研發(fā)大型語言模型，直到 2023 年發(fā)布 GPT-4。許多人可能是在 2022 年底利用 GPT-3.5 開發(fā)的聊天機器人 ChatGPT 上線后才開始意識到類似 GPT-3 的模型的強大功能，因此在 2023 年 GPT-4 發(fā)布時才會覺得能力提升巨大。

　　斯科特在采訪中反駁了人工智能進步停滯的觀點，但他同時也承認，由于新模型往往需要數(shù)年才能開發(fā)，因此該領域的數(shù)據(jù)點更新的確較慢。盡管如此，斯科特仍然對未來版本的改進充滿信心，尤其是在當前模型表現(xiàn)不佳的領域。

　　“下一個突破即將到來，我無法確切地預測它何時出現(xiàn)，也不知道它會取得多大的進步，但它幾乎肯定會改善目前那些不夠完善的方面，比如模型的成本過高或過于脆弱，讓人難以放心使用，”斯科特在采訪中表示，“所有這些方面都會得到改善，成本會降低，模型會變得更加穩(wěn)定。屆時，我們將能夠實現(xiàn)更加復雜的功能。這正是每一代大型語言模型通過規(guī)模化所取得的成就。”