英偉達最新季度財報公布后，不僅AMD沉默英特爾流淚，做過長時間心理建設的分析師也沒想到真實情況如此超預期。

　　更可怕的是，英偉達同比暴漲854%的收入，很大程度上是因為“只能賣這么多”，而不是“賣出去了這么多”。一大堆“初創(chuàng)公司拿***抵押貸款”的小作文背后，反應的是*** GPU供應緊張的事實。

　　如果缺貨繼續(xù)延續(xù)到今年年底，英偉達的業(yè)績恐怕會更加震撼。

　　***的短缺不禁讓人想起幾年前，GPU因為加密貨幣暴漲導致缺貨，英偉達被游戲玩家罵得狗血淋頭。不過當年的顯卡缺貨很大程度上是因為不合理的溢價，***的缺貨卻是產(chǎn)能實在有限，加價也買不到。

　　換句話說，英偉達還是賺少了。

　　在財報發(fā)布當天的電話會議上，“產(chǎn)能”理所當然地成為了最高頻詞匯。對此，英偉達措辭嚴謹，不該背的鍋堅決不背：

　　“市場份額方面，不是僅靠我們就可以獲得的，這需要跨越許多不同的供應商。”

　　實際上，英偉達所說的“許多不同的供應商”，算來算去也就兩家：

　　SK海力士和臺積電。

　　1、HBM：韓國人的游戲

　　如果只看面積占比，一顆***芯片，屬于英偉達的部分只有50%左右。

　　在芯片剖面圖中，***裸片占據(jù)核心位置，兩邊各有三個HBM堆棧，加起面積與***裸片相當。

　　這六顆平平無奇的內存芯片，就是***供應短缺的罪魁禍首之一。

　　HBM（High Bandwidth Memory）直譯過來叫高寬帶內存，在GPU中承擔一部分存儲器之職。

　　和傳統(tǒng)的DDR內存不同，HBM本質上是將多個DRAM內存在垂直方向堆疊，這樣既增加了內存容量，又能很好的控制內存的功耗和芯片面積，減少在封裝內部占用的空間。

　　“堆疊式內存”原本瞄準的是對芯片面積和發(fā)熱非常敏感的智能手機市場，但問題是，由于生產(chǎn)成本太高，智能手機最終選擇了性價比更高的LPDDR路線，導致堆疊式內存空有技術儲備，卻找不到落地場景。

　　直到2015年，市場份額節(jié)節(jié)敗退的AMD希望借助4K游戲的普及，抄一波英偉達的后路。

　　在當年發(fā)布的AMD Fiji系列GPU中，AMD采用了與SK海力士聯(lián)合研發(fā)的堆疊式內存，并將其命名為HBM(High Bandwidth Memory)。

　　AMD的設想是，4K游戲需要更大的數(shù)據(jù)吞吐效率，HBM內存高帶寬的優(yōu)勢就能體現(xiàn)出來。當時AMD的Radeon R9 Fury X顯卡，也的確在紙面性能上壓了英偉達Kepler架構新品一頭。

　　但問題是，HBM帶來的帶寬提升，顯然難以抵消其本身的高成本，因此也未得到普及。

　　直到2016年，AlphaGo橫掃冠軍棋手李世石，深度學習橫空出世，讓HBM內存一下有了用武之地。

　　深度學習的核心在于通過海量數(shù)據(jù)訓練模型，確定函數(shù)中的參數(shù)，在決策中帶入實際數(shù)據(jù)得到最終的解。

　　理論上來說，數(shù)據(jù)量越大得到的函數(shù)參數(shù)越可靠，這就讓AI訓練對數(shù)據(jù)吞吐量及數(shù)據(jù)傳輸?shù)难舆t性有了一種近乎病態(tài)的追求，而這恰恰是HBM內存解決的問題。

　　2017年，AlphaGo再戰(zhàn)柯潔，芯片換成了Google自家研發(fā)的TPU。在芯片設計上，從第二代開始的每一代TPU，都采用了HBM的設計。英偉達針對數(shù)據(jù)中心和深度學習的新款GPU Tesla P100，搭載了第二代HBM內存(HBM2)。

　　隨著高性能計算市場的GPU芯片幾乎都配備了HBM內存，存儲巨頭們圍繞HBM的競爭也迅速展開。

　　目前，全球能夠量產(chǎn)HBM的僅有存儲器三大巨頭：SK海力士、三星電子、美光。

　　SK海力士是HBM發(fā)明者之一，是目前*量產(chǎn)HBM3E(第三代HBM)的廠商;三星電子以HBM2(第二代HBM)入局，是英偉達*采用HBM的GPU的供應商;美光最落后，2018年才從HMC轉向HBM路線，2020年年中才開始量產(chǎn)HBM2。

　　其中，SK海力士獨占HBM 50%市場份額，而其*供應給英偉達的HBM3E，更是牢牢卡住了***的出貨量：

　　*** PCIe和SXM版本均用了5個HBM堆棧，***S SXM版本可達到6個，英偉達力推的*** NVL版本更是達到了12個。按照研究機構的拆解，單顆16GB的HBM堆棧，成本就高達240美元。那么*** NVL單單內存芯片的成本，就將近3000美元。

　　成本還是小問題，考慮到與***直接競爭的谷歌TPU v5和AMD MI300即將量產(chǎn)，后兩者同樣將采用HBM3E，陳能更加捉襟見肘。

　　面對激增的需求，據(jù)說SK海力士已定下產(chǎn)能翻番的小目標，著手擴建產(chǎn)線，三星和美光也對HBM3E摩拳擦掌，但在半導體產(chǎn)業(yè)，擴建產(chǎn)線從來不是一蹴而就的。

　　按照9-12個月的周期樂觀預計，HBM3E產(chǎn)能至少也得到明年第二季度才能得到補充。

　　另外，就算解決了HBM的產(chǎn)能，***能供應多少，還得看臺積電的臉色。

　　2、CoWoS：臺積電的寶刀

　　分析師Robert Castellano不久前做了一個測算，***采用了臺積電4N工藝(5nm)生產(chǎn)，一片4N工藝的12寸晶圓價格為13400美元，理論上可以切割86顆***芯片。

　　如果不考慮生產(chǎn)良率，那么每生產(chǎn)一顆***，臺積電就能獲得155美元的收入[6]。

　　但實際上，每顆***給臺積電帶來的收入很可能超過1000美元，原因就在于***采用了臺積電的CoWoS封裝技術，通過封裝帶來的收入高達723美元[6]。

　　每一顆***從臺積電十八廠的N4/N5產(chǎn)線上下來，都會運往同在園區(qū)內的臺積電先進封測二廠，完成***制造中最為特別、也至關重要的一步——CoWoS。

　　要理解CoWoS封裝的重要性，依然要從***的芯片設計講起。

　　在消費級GPU產(chǎn)品中，內存芯片一般都封裝在GPU核心的外圍，通過PCB板之間的電路傳遞信號。

　　比如下圖中同屬英偉達出品的RTX4090芯片，GPU核心和GDDR內存都是分開封裝再拼到一塊PCB板上，彼此獨立。

　　GPU和CPU都遵循著馮·諾依曼架構，其核心在于“存算分離”——即芯片處理數(shù)據(jù)時，需要從外部的內存中調取數(shù)據(jù)，計算完成后再傳輸?shù)絻却嬷�，一來一回，都會造成計算的延遲。同時，數(shù)據(jù)傳輸?shù)?ldquo;數(shù)量”也會因此受限制。

　　可以將GPU和內存的關系比作上海的浦東和浦西，兩地間的物資(數(shù)據(jù))運輸需要依賴南浦大橋，南浦大橋的運載量決定了物資運輸?shù)男���，這個運載量就是內存帶寬，它決定了數(shù)據(jù)傳輸?shù)乃俣龋�也間接影響著GPU的計算速度。

　　1980年到2000年，GPU和內存的“速度失配”以每年50%的速率增加。也就是說，就算修了龍耀路隧道和上中路隧道，也無法滿足浦東浦西兩地物資運輸?shù)脑鲩L，這就導致高性能計算場景下，帶寬成為了越來越明顯的瓶頸。

　　CPU/GPU性能與內存性能之間的差距正在拉大

　　2015年，AMD在應用HBM內存的同時，也針對數(shù)據(jù)傳輸采用了一種創(chuàng)新的解決方案：把浦東和浦西拼起來。

　　簡單來說，2015年的Fiji架構顯卡，將HBM內存和GPU核心“縫合”在了一起，把幾塊小芯片變成了一整塊大芯片。這樣，數(shù)據(jù)吞吐效率就成倍提高。

　　不過如上文所述，由于成本和技術問題，AMD的Fiji架構并沒有讓市場買賬。但深度學習的爆發(fā)以及AI訓練對數(shù)據(jù)吞吐效率不計成本的追求，讓“芯片縫合”有了用武之地。

　　另外，AMD的思路固然好，但也帶來了一個新問題——無論HBM有多少優(yōu)勢，它都必須和“縫芯片”的先進封裝技術配合，兩者唇齒相依。

　　如果說HBM內存還能貨比三家，那么“縫芯片”所用的先進封裝，看來看去就只有臺積電一家能做。

　　CoWoS是臺積電先進封裝事業(yè)的起點，英偉達則是*個采用這一技術的芯片公司。

　　CoWoS由CoW和oS組合而來：CoW表示Chip on Wafer，指裸片在晶圓上被拼裝的過程，oS表示onSubstrate，指在基板上被封裝的過程。

　　傳統(tǒng)封裝一般只有oS環(huán)節(jié)，一般在代工廠完成晶圓制造后，交給第三方封測廠解決，但先進封裝增加的CoW環(huán)節(jié)，就不是封測廠能解決的了的。

　　以一顆完整的***芯片為例，***的裸片周圍分布了多個HBM堆棧，通過CoW技術拼接在一起。但不只是拼接而已，還要同時實現(xiàn)裸片和堆棧間的通信。

　　臺積電的CoW區(qū)別于其他先進封裝的亮點在于，是將裸片和堆棧放在一個硅中介層(本質是一塊晶圓)上，在中介層中做互聯(lián)通道，實現(xiàn)裸片和堆棧的通信。

　　類似的還有英特爾的EMIB，區(qū)別在于通過硅橋實現(xiàn)互聯(lián)。但帶寬遠不及硅中介層，考慮到帶寬與數(shù)據(jù)傳輸速率息息相關，CoWoS便成了***的*選擇。

　　這便是卡住***產(chǎn)能的另一只手。

　　雖然CoWoS效果逆天，但4000-6000美元/片的天價還是攔住了不少人，其中就包括富可敵國的蘋果。因此，臺積電預備的產(chǎn)能相當有限。

　　然而，AI浪潮突然爆發(fā)，供需平衡瞬間被打破。

　　早在6月就有傳言稱，今年英偉達對CoWoS的需求已經(jīng)達到4.5萬片晶圓，而臺積電年初的預估是3萬片，再加上其他客戶的需求，產(chǎn)能缺口超過了20%。

　　為了彌補缺口，臺積電的陣仗不可謂不大。

　　6月，臺積電正式啟用同在南科的先進封測六廠，光無塵室就比其余封測廠的加起來還大，并承諾逐季增加CoWoS產(chǎn)能，為此將部分oS外包給第三方封測廠。

　　但正如HBM擴產(chǎn)不易，臺積電擴產(chǎn)也需要時間。目前，部分封裝設備、零組件交期在3-6個月不等，到年底前，新產(chǎn)能能開出多少仍是未知。

　　3、不存在的Plan B

　　面對***的結構性緊缺，英偉達也不是完全沒有Plan B。

　　在財報發(fā)布后的電話會議上，英偉達就透露，CoWoS產(chǎn)能已經(jīng)有其他供應商參與認證。雖然沒說具體是誰，但考慮到先進封裝的技術門檻，除了臺積電，也就只有英特爾先天不足的EMIB、三星開發(fā)了很久一直等不來客戶的I-Cube能勉強救火。

　　但核心技術更換如同陣前換將，隨著AMD MI300即將量產(chǎn)出貨，AI芯片競爭白熱化，是否能和英特爾和三星的技術磨合到位，恐怕黃仁勛自己心理也是惴惴。

　　比黃仁勛更著急的可能是買不到***的云服務廠商與AI初創(chuàng)公司。畢竟游戲玩家搶不到顯卡，也就是游戲幀數(shù)少了20幀;大公司搶不到***，很可能就丟掉了幾十億的收入和上百億的估值。

　　需要***的公司主要有三類：微軟、亞馬遜這類云服務商;Anthropic、OpenAI這些初創(chuàng)公司;以及特斯拉這類大型科技公司，特斯拉的新版本FSD方案就用了10000塊***組成的GPU集群來訓練。

　　這還沒算上Citadel這類金融公司，以及買不到*版H800的中國公司。

　　根據(jù)GPUUtils的測算[7]，保守估計，目前***的供給缺口達到43萬張。

　　雖然***存在理論上的替代方案，但在實際情況下都缺乏可行性。

　　比如***的前代產(chǎn)品A100，價格只有***的1/3左右。但問題是，***的性能比A100強了太多，導致***單位成本的算力比A100高。考慮到科技公司都是成百上千張起購，買A100反而更虧。

　　AMD是另一個替代方案，而且紙面性能和***相差無幾。但由于英偉達CUDA生態(tài)的壁壘，采用AMD的GPU很可能讓開發(fā)周期變得更長，而采用***的競爭對手很可能就因為這點時間差，和自己拉開了差距，甚至上億美元的投資血本無歸。

　　種種原因導致，一顆整體物料成本3000美元的芯片，英偉達直接加個零賣，大家居然都搶著買。這可能是黃仁勛自己也沒想到的。

　　而在HBM與CoWoS產(chǎn)能改善之前，買到***的方法可能就只剩下了一種：

　　等那些靠吹牛逼融到錢買了一堆***的初創(chuàng)公司破產(chǎn)，然后接盤他們的二手GPU。