開(kāi)著蘭博基尼送外賣(mài)

　　促使微軟自研大模型的契機(jī)，是OpenAI的一次失敗[3]。

　　ChatGPT轟動(dòng)全球之際，OpenAI的計(jì)算機(jī)科學(xué)家們正在忙于一個(gè)代號(hào)為Arrakis的項(xiàng)目，希望對(duì)標(biāo)GPT-4打造一個(gè)稀疏模型(sparse model)。

　　這是一種特殊的超大模型：處理任務(wù)時(shí)，模型只有特定部分會(huì)被激活。例如當(dāng)用戶需要生成一段摘要時(shí)，模型會(huì)自動(dòng)激活最適合該工作的部分，不必每次都調(diào)動(dòng)整個(gè)大模型。

　　相較于傳統(tǒng)的大模型，稀疏模型擁有更快的響應(yīng)速度和更高的準(zhǔn)確性。更重要的是它可以大大降低推理的成本。

　　翻譯成人話就是，殺雞再也不用牛刀了——而這正是微軟所看重的。

　　谷歌對(duì)稀疏模型優(yōu)勢(shì)的總結(jié)

　　輿論聊到大模型成本時(shí)，總愛(ài)談?wù)?、8位數(shù)的訓(xùn)練成本，以及天文數(shù)字的GPU開(kāi)支。但對(duì)大多數(shù)科技公司而言，模型訓(xùn)練和數(shù)據(jù)中心建設(shè)只是一次性的資本開(kāi)支，一咬牙并非接受不了。相比之下，日常運(yùn)行所需的昂貴推理成本，才是阻止科技公司進(jìn)一步深入的*道門(mén)檻。

　　因?yàn)樵谕ǔＧ闆r下，大模型并不像互聯(lián)網(wǎng)那般具備明顯的規(guī)模效應(yīng)。

　　用戶的每一個(gè)查詢都需要進(jìn)行新的推理計(jì)算。這意味著使用產(chǎn)品的用戶越多、越重度，科技公司的算力成本也會(huì)指數(shù)級(jí)上升。

　　此前，微軟基于GPT-4改造了大模型應(yīng)用GitHub Copilot，用于輔助程序員寫(xiě)代碼，收費(fèi)10美元/月。

　　據(jù)《華爾街日?qǐng)?bào)》的爆料，由于昂貴的推理成本，GitHub Copilot人均每月虧20美金，重度用戶甚至可以給微軟帶來(lái)每個(gè)月80美金的損失[5]。

　　GitHub Copilot

　　大模型應(yīng)用的入不敷出，才是推動(dòng)微軟自研大模型的首要原因。

　　OpenAI的大模型在技術(shù)上依舊遙遙*，長(zhǎng)期位于各大榜單的首位，但代價(jià)是昂貴的使用成本。

　　有AI研究員做過(guò)一筆測(cè)算，理論上GPT-3.5的API價(jià)格，幾乎是開(kāi)源模型Llama 2-70B推理成本的3-4倍，更別提全面升級(jí)后的GPT-4了[6]。

　　然而除了代碼生成、解決復(fù)雜數(shù)學(xué)難題等少數(shù)場(chǎng)景，大部分工作其實(shí)完全可以交由參數(shù)較小的版本和開(kāi)源模型。

　　初創(chuàng)公司Summarize.tech就是個(gè)活生生的案例。它的業(yè)務(wù)是提供總結(jié)音視頻內(nèi)容的工具，擁有約20萬(wàn)月活用戶，早期曾使用GPT-3.5來(lái)支持其服務(wù)。

　　后來(lái)，該企業(yè)試著將底層大模型更換成開(kāi)源的Mistral-7B-Instruct，發(fā)現(xiàn)用戶并沒(méi)有感知到差異，但每月的推理成本卻從2000美元降低至不到1000美元[7]。

　　也就是說(shuō)，OpenAI為客戶無(wú)差別提供動(dòng)力強(qiáng)勁的蘭博基尼，但大部分客戶的業(yè)務(wù)其實(shí)是送外賣(mài)——這構(gòu)成了OpenAI的“遙遙*難題”。

　　所以不光是微軟，連Salesforce、Wix等OpenAI的早期大客戶，也已經(jīng)替換成更便宜的技術(shù)方案。

　　降低推理成本，讓“開(kāi)奧迪比雅迪更便宜”，成為了OpenAI必須要解決的課題，這才有了前文提到的稀疏模型項(xiàng)目Arrakis。

　　事實(shí)上，不光是OpenAI，谷歌也在從事相關(guān)研究，并且已經(jīng)取得了進(jìn)展。8月的Hot Chips大會(huì)上，谷歌首席科學(xué)家、原谷歌大腦負(fù)責(zé)人杰夫·迪恩更在演講中提到，稀疏化會(huì)是未來(lái)十年最重要的趨勢(shì)之一[8]。

　　杰夫·迪恩還發(fā)表過(guò)稀疏模型的論文

　　正是遙遙*帶來(lái)的高成本讓微軟琢磨起了“自力更生”的可能性，OpenAI其實(shí)也注意到了這個(gè)問(wèn)題：

　　11月6日的開(kāi)發(fā)者大會(huì)上，OpenAI推出了GPT-4 Turbo，一口氣降價(jià)1/3，已低于Claude 2——即*競(jìng)爭(zhēng)對(duì)手Anthropic開(kāi)發(fā)的閉源大模型。

　　OpenAI的“蘭博基尼”雖然還不夠便宜，至少比其他小轎車(chē)實(shí)惠了不少。

　　可惜11天之后，一場(chǎng)足以載入科技史的鬧劇，正使得這一努力大打折扣。據(jù)外媒爆料，在奧特曼與OpenAI董事會(huì)談判回歸的那個(gè)周末，已有超過(guò)100個(gè)客戶聯(lián)系了友商Anthropic[10]。

　　商業(yè)化的悖論

　　即便沒(méi)有這場(chǎng)內(nèi)亂，OpenAI的客戶流失危機(jī)可能依然存在。

　　這要從OpenAI的模型與產(chǎn)品設(shè)計(jì)思路講起：

　　不久前，OpenAI往開(kāi)發(fā)者社群中投入了GPTs這顆重磅炸彈。用戶可以利用自然語(yǔ)言來(lái)定制不同功能的聊天機(jī)器人。截止至奧特曼復(fù)職當(dāng)天，用戶已上傳了19000個(gè)功能迥異的GPTs聊天機(jī)器人，平均日產(chǎn)1000+，活躍程度堪比一個(gè)大型社區(qū)[11]。

　　功能迥異的GPTs

　　眾所周知，GPT模型并不開(kāi)源，而且還有“遙遙*難題”。但對(duì)個(gè)人開(kāi)發(fā)者和小型企業(yè)來(lái)說(shuō)，OpenAI具備兩個(gè)開(kāi)源模型所無(wú)法匹敵的優(yōu)勢(shì)：

　　其一是開(kāi)箱即用的低開(kāi)發(fā)門(mén)檻。在海外論壇上，一些利用OpenAI基礎(chǔ)模型搞開(kāi)發(fā)的小型團(tuán)隊(duì)，會(huì)將自家產(chǎn)品形容為“wrappers(包裝紙)”。因?yàn)镚PT模型強(qiáng)悍的通用能力，他們有時(shí)只需要替模型開(kāi)發(fā)一個(gè)UI，再找到適用場(chǎng)景，就能拿到訂單。

　　開(kāi)發(fā)者如果需要進(jìn)一步微調(diào)模型，OpenAI同樣提供了一項(xiàng)名為的LoRA(低秩自適應(yīng))的輕量級(jí)模型微調(diào)技術(shù)。

　　簡(jiǎn)單來(lái)說(shuō)，LoRA的大致原理是先將大模型“拆散”，再面向指定任務(wù)做適應(yīng)性訓(xùn)練，進(jìn)而提升大模型在該任務(wù)下的能力。LoRA主要著眼于調(diào)整模型內(nèi)部結(jié)構(gòu)，并不需要太多行業(yè)數(shù)據(jù)進(jìn)行微調(diào)。

　　但在定制開(kāi)源模型時(shí)，開(kāi)發(fā)者有時(shí)會(huì)使用全量微調(diào)。雖然在特定任務(wù)上表現(xiàn)更好，但全量微調(diào)需要更新預(yù)訓(xùn)練大模型的每一個(gè)參數(shù)，對(duì)數(shù)據(jù)量要求極高。

　　相比之下，OpenAI模式顯然對(duì)普通開(kāi)發(fā)者更加友好。

　　LoRA原理示意圖

　　其次，前文曾提到大模型并不具備規(guī)模效應(yīng)，但這句話其實(shí)有一個(gè)前提——即計(jì)算請(qǐng)求充足的情況下。

　　測(cè)試顯示，每批次發(fā)送給服務(wù)器的計(jì)算請(qǐng)求越少，對(duì)算力的利用效率會(huì)降低，進(jìn)而會(huì)導(dǎo)致單次計(jì)算的平均成本直線上升[6]。

　　OpenAI可以一次性將所有客戶的數(shù)百萬(wàn)個(gè)計(jì)算請(qǐng)求一起捆綁發(fā)送，但個(gè)人開(kāi)發(fā)者和中小企業(yè)卻很難做到這一點(diǎn)，因?yàn)椴�沒(méi)有那么多活躍用戶。

　　簡(jiǎn)單來(lái)說(shuō)就像送快遞，同樣從上海到北京，OpenAI客戶多，可以一次送100件;其他模型就湊不出這么多了。

　　咨詢公司Omdia的分析師曾評(píng)價(jià)稱(chēng)，OpenAI從規(guī)模效應(yīng)中的獲利，遠(yuǎn)遠(yuǎn)超過(guò)大多數(shù)在AWS或Azure上托管小型開(kāi)源模型的初創(chuàng)企業(yè)[14]。

　　所以，雖然“ChatGPT一更新就消滅一群小公司”的現(xiàn)象客觀存在，但還是有不少開(kāi)發(fā)者愿意賭一把。

　　PDF.ai的創(chuàng)始人Damon Chen就是直接受害者，PDF.ai的主要功能是讓模型閱讀PDF文件，結(jié)果10月底ChatGPT也更新了這項(xiàng)能力。但Damon Chen卻非常淡然：“我們的使命不是成為另一家獨(dú)角獸，幾百萬(wàn)美金的年收入已經(jīng)足夠了”。

　　但對(duì)于富可敵國(guó)的大公司來(lái)說(shuō)，OpenAI的這些優(yōu)勢(shì)全都成了劣勢(shì)。

　　比如，OpenAI在輕量級(jí)開(kāi)發(fā)上頗有優(yōu)勢(shì)，但隨著企業(yè)不斷深入場(chǎng)景，需要進(jìn)一步定制時(shí)，很快會(huì)又一次面臨“遙遙*難題”：

　　由于GPT-4過(guò)于復(fù)雜且龐大，深度定制需要耗費(fèi)*200萬(wàn)美金和數(shù)月的開(kāi)發(fā)時(shí)間。相比之下，全量微調(diào)開(kāi)源模型的成本多為數(shù)十萬(wàn)美元上下，兩者明顯不是一個(gè)量級(jí)。

　　另外，微軟、Salesforce等大客戶自己的計(jì)算請(qǐng)求就夠多了，根本不需要和別人一起拼單降成本，這讓OpenAI在成本端優(yōu)勢(shì)全無(wú)。即便是初創(chuàng)企業(yè)，隨著用戶不斷增加，使用OpenAI模型的性價(jià)比也會(huì)降低。

　　前文提到擁有20萬(wàn)月活的初創(chuàng)公司Summarize.tech，就成功利用開(kāi)源的Mistral-7B-Instruct降本50%以上。

　　要知道7B參數(shù)的小型開(kāi)源模型還可以運(yùn)行在“老古董”級(jí)的英偉達(dá)V100上——該GPU發(fā)布于2017年，甚至沒(méi)進(jìn)美國(guó)芯片出口管制名單的法眼。

　　Summarize.tech

　　從商業(yè)角度看，能夠支撐公司營(yíng)收的恰恰是財(cái)大氣粗的大公司，如何抓住那些“野心不止數(shù)年收入百萬(wàn)美金”的客戶，已是OpenAI必須面對(duì)的命題。

　　閃點(diǎn)事件

　　讓OpenAI“面對(duì)商業(yè)化問(wèn)題”聽(tīng)上去似乎有些奇怪，畢竟直到2023年初，跟賺錢(qián)相關(guān)的議題還遠(yuǎn)不在OpenAI的日程表上，更別提搞什么開(kāi)發(fā)者大會(huì)了。

　　今年3月，OpenAI總裁布羅克曼(Greg Brockman)——也就是上周和奧特曼一起被開(kāi)除的大哥——接受了一次采訪。他坦誠(chéng)地說(shuō)道，OpenAI并沒(méi)有真正考慮過(guò)構(gòu)建通用的工具或者垂直領(lǐng)域的大模型應(yīng)用。雖然嘗試過(guò)，但這并不符合OpenAI的DNA，他們的心也不在那里[17]。

　　持續(xù)四天半的鬧劇之后，Brockman也再度回歸

　　這里的DNA，其實(shí)指的是一種純粹理想主義、保護(hù)人類(lèi)免受超級(jí)智能威脅的科學(xué)家文化。畢竟OpenAI的立身之本很大程度上建立在2015年馬斯克與奧特曼的“共同宣言”——AI更安全的道路將掌控在不受利潤(rùn)動(dòng)機(jī)污染的研究機(jī)構(gòu)手中”[18]。

　　理想主義大旗的號(hào)召下，OpenAI成功招募到了以伊利亞(Ilya Sutskever)為首的*科學(xué)家團(tuán)隊(duì)——盡管當(dāng)時(shí)奧特曼提供給他們的薪資還不足谷歌一半。

　　讓OpenAI開(kāi)始轉(zhuǎn)變的一個(gè)關(guān)鍵因素，恰恰是ChatGPT的發(fā)布。

　　最初，OpenAI領(lǐng)導(dǎo)并沒(méi)有將ChatGPT視作一款商業(yè)化的產(chǎn)品，而是將其稱(chēng)為一次“低調(diào)的研究預(yù)覽”，目的是收集普通人與人工智能交互的數(shù)據(jù)，為日后GPT-4的開(kāi)發(fā)提供助力。換句話說(shuō)，ChatGPT能火成這樣，是OpenAI沒(méi)有想到的。

　　出乎意料的爆紅改變了一切，也促使奧特曼和布羅克曼轉(zhuǎn)向了加速主義。

　　所謂加速主義，可以簡(jiǎn)單理解為對(duì)AGI的商業(yè)化抱有無(wú)限熱情，準(zhǔn)備大干快上跑步進(jìn)入第四次工業(yè)革命。與之對(duì)應(yīng)的則是安全主義，主張用謹(jǐn)慎的態(tài)度來(lái)發(fā)展AI，時(shí)刻衡量AI對(duì)人類(lèi)的威脅。

　　一位匿名OpenAI員工在接受《大西洋月刊》采訪時(shí)說(shuō)道，“ChatGPT之后，收入和利潤(rùn)都有了明確的路徑。你再也無(wú)法為‘理想主義研究實(shí)驗(yàn)室’的身份做辯護(hù)了。那里有客戶正等著服務(wù)[20]。”

　　ChatGPT也催生了“科技界*的兄弟情誼”

　　這種轉(zhuǎn)變讓OpenAI開(kāi)始踏入一個(gè)陌生的領(lǐng)域——持續(xù)將研發(fā)成果轉(zhuǎn)換成受歡迎的產(chǎn)品。

　　對(duì)一家曾以理想主義標(biāo)榜的象牙塔來(lái)說(shuō)，這項(xiàng)工作顯然有些過(guò)于“接地氣”了。比如技術(shù)*伊利亞就是個(gè)計(jì)算機(jī)科學(xué)家而非產(chǎn)品經(jīng)理，之前在谷歌也多負(fù)責(zé)理論研究，產(chǎn)品落地的職責(zé)在杰夫·迪恩領(lǐng)導(dǎo)的谷歌大腦團(tuán)隊(duì)身上。

　　在ChatGPT發(fā)布前，OpenAI更像是幾個(gè)財(cái)富自由的科學(xué)家和工程師組成的小作坊，但時(shí)過(guò)境遷，他們變成了一個(gè)正兒八經(jīng)的商業(yè)機(jī)構(gòu)。

　　過(guò)去一年，OpenAI新增了數(shù)百位新雇員，用于加速商業(yè)化。根據(jù)The Information的報(bào)道，OpenAI的員工總數(shù)很可能已經(jīng)超過(guò)700人。就算不考慮賺錢(qián)，也得有方法應(yīng)對(duì)運(yùn)營(yíng)成本——畢竟科學(xué)家也要還房貸啊。

　　短暫又劇烈的“奧特曼去哪兒”事件并沒(méi)有解決這個(gè)問(wèn)題，反而讓它變得愈發(fā)尖銳：OpenAI到底是個(gè)什么組織？

　　在CNBC的一次采訪里，馬斯克曾這樣形容由他親手創(chuàng)辦、后來(lái)又將他掃地出門(mén)的公司：“我們成立了一個(gè)組織來(lái)拯救亞馬遜雨林，但后來(lái)它卻做起了木材生意，砍伐了森林將其出售[18]。”

　　這種矛盾使得OpenAI困于遙遙*，也催生了這場(chǎng)驚呆所有人下巴的鬧劇。

　　今年早些時(shí)候，連線雜志的記者曾跟訪了奧特曼一段時(shí)間，期間也曾反復(fù)提及這個(gè)問(wèn)題，但奧特曼每次都堅(jiān)稱(chēng)，“我們的使命沒(méi)有改變”。但當(dāng)信奉安全主義的伊利亞滑跪，以及奧特曼回歸，顯然OpenAI已經(jīng)做出了它的選擇。

　　參考資料

　　[1] How Microsoft is Trying to Lessen Its Addiction to OpenAI as AI Costs Soar，The Information

　　[2] Microsoft rebrands Bing Chat to Copilot, to better compete with ChatGPT，The Verge

　　[3] OpenAI Dropped Work on New ‘Arrakis’ AI Model in Rare Setback，The Information

　　[4] GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE，SemiAnalysis

　　[5] Big Tech Struggles to Turn AI Hype Into Profits，The Wall Street Journal

　　[6]Why GPT-3.5 is (mostly) cheaper than Llama 2，Aman

　　[7]OpenAI’s Corporate Sales Come Under Pressure From Microsoft as AI Customers Eye Cheaper Options，The Information

　　[8] THE NEXT 100X FOR AI HARDWARE PERFORMANCE WILL BE HARDER，Next Platform

　　[9] OpenAI’s ‘Extinction Event’ For Other AI Startups，The Information

　　[10] OpenAI’s Customers Consider Defecting to Anthropic, Microsoft, Google，The Information

　　[11] GPTs Hunter

　　[12] What it Takes to Make Open-Source AI Cheaper Than OpenAI，The Information

　　[13]圖解大模型微調(diào)系列之：大模型低秩適配器LoRA(原理篇)，猛猿

　　[14] Open Source vs. Closed Models: The True Cost of Running AI，AI Business

　　[15] Why a New OpenAI Product Costs $2 Million，The Information

　　[16] “血色婚禮”后，生成式AI仍在*幕，我思鍋我在

　　[17] OpenAI President on Musk Criticism: ‘We Made a Mistake’，The Information

　　[18] What OpenAI Really Wants，Wired

　　[19] 深度學(xué)習(xí)革命，凱德·梅茨

　　[20] Inside the Chaos at OpenAI，The Atlantic