高帶寬內(nèi)存(High-bandwidth memory：HBM)已經(jīng)存在了大約十年，在其不斷發(fā)展的過程中，它的速度穩(wěn)步提高，數(shù)據(jù)傳輸速率從 1 GT/s(最初的 HBM)開始，達到 9 GT/s 以上(即將推出的 HBM3E)。這使得帶寬在不到 10 年的時間內(nèi)實現(xiàn)了令人印象深刻的躍升，使 HBM 成為此后投放市場的全新 HPC 加速器類別的重要基石。

　　但隨著內(nèi)存?zhèn)鬏斔俾实奶岣�，尤其是�?DRAM 單元的基礎(chǔ)物理原理沒有改變的情況下，這一速度也越來越難以維持。因此，對于 HBM4，該規(guī)范背后的主要內(nèi)存制造商正計劃對高帶寬內(nèi)存技術(shù)進行更實質(zhì)性的改變，從更寬的 2048 位內(nèi)存接口開始。

　　01 HBM 4，迎來革命性改變

　　HBM 的當前 1024 位內(nèi)存接口被設(shè)計為寬但慢的內(nèi)存技術(shù)，具有以相對適中的時鐘速度運行的超寬接口，已成為該技術(shù)的一個決定性特征。與此同時，為了不斷提高內(nèi)存帶寬，其適度的時鐘速度變得越來越不那么適度。到目前為止，這種方法一直有效，但隨著時鐘速度的提高，高度并行內(nèi)存面臨著與 GDDR 和其他高度串行內(nèi)存技術(shù)相同的信號完整性和能效問題的風險。

　　因此，對于下一代技術(shù)，組織者正在考慮再次加寬，將 HBM內(nèi)存接口的寬度進一步擴展至 2048 位。而且，出于多種技術(shù)原因，他們打算在不增加 HBM 內(nèi)存堆棧占用空間的情況下實現(xiàn)這一目標，從而實質(zhì)上使下一代 HBM 內(nèi)存的互連密度加倍。最終結(jié)果將是一種具有比當今 HBM 更寬的內(nèi)存總線的內(nèi)存技術(shù)，為內(nèi)存和設(shè)備供應商提供了進一步提高帶寬而無需進一步提高時鐘速度的空間。

　　按照計劃，這將使 HBM4 在多個層面上實現(xiàn)重大技術(shù)飛躍。

　　例如在 DRAM 堆棧方面，2048 位內(nèi)存接口將需要顯著增加穿過內(nèi)存堆棧的硅通孔數(shù)量。同時，外部芯片接口需要將凸塊間距縮小到遠低于 55 微米，同時顯著增加微凸塊總數(shù)(HBM3 目前的(大約)3982 個凸塊數(shù)量)。

　　內(nèi)存制造商表示，他們還將在一個模塊中堆疊多達 16 個內(nèi)存芯片，這為該技術(shù)增加了一些額外的復雜性。所謂的 16-Hi 堆疊。(HBM3 技術(shù)上也支持16-Hi 堆棧，但到目前為止還沒有制造商實際使用它)這將使內(nèi)存供應商能夠顯著增加其 HBM 堆棧的容量，但它在連接更多數(shù)量的 DRAM 時帶來了新的復雜性沒有錯誤地死亡，然后保持生成的 HBM 堆棧適當且一致地短。

　　所有這一切反過來都需要芯片制造商、內(nèi)存制造商和芯片封裝公司之間更加密切的合作，以使一切順利進行。

　　臺積電設(shè)計基礎(chǔ)設(shè)施管理主管 Dan Kochpatcharin 在阿姆斯特丹舉行的臺積電 OIP 2023 會議上發(fā)表講話時表示：“因為他們沒有將速度加倍，而是使用 HBM4 將[接口]引腳加倍。這就是為什么我們正在推動確保我們與所有三個合作伙伴合作，[使用我們先進的封裝方法]驗證他們的 HBM4，并確保 RDL 或中介層或兩者之間的任何內(nèi)容都可以支持 [HBM4] 的布局和速度。因此，我們與三星、SK海力士和美光攜手合作。”

　　由于系統(tǒng)級封裝 (SiP) 設(shè)計變得越來越大，并且先進芯片封裝支持的 HBM 堆棧數(shù)量不斷增加(例如 6 倍掩模版尺寸中介層和封裝上具有 12 個 HBM 堆棧的芯片)，因此芯片封裝變得越來越復雜。為了確保一切繼續(xù)協(xié)同工作，臺積電正在推動芯片和內(nèi)存設(shè)計人員采用設(shè)計技術(shù)協(xié)同優(yōu)化(DTCO)。這也是全球*的代工廠最近組織 3DFabric 內(nèi)存聯(lián)盟的一個重要原因，該計劃旨在促進 DRAM 制造商和臺積電之間的密切合作，以實現(xiàn)下一代解決方案，該解決方案將封裝大量邏輯晶體管和先進存儲。

　　除此之外，臺積電的 3DFabric 內(nèi)存聯(lián)盟目前正在致力于確保 HBM3E/HBM3 Gen2 內(nèi)存與 CoWoS 封裝配合使用、12-Hi HBM3/HBM3E 封裝與高級封裝、用于 HBM PHY 的 UCIe 以及無緩沖區(qū) HBM(一種技術(shù))兼容。由三星牽頭)。

　　總體而言，臺積電上周的評論讓我們對下一代高帶寬內(nèi)存有了*的了解。盡管如此，有關(guān) HBM4 的其他技術(shù)細節(jié)目前仍然相當缺乏。美光科技今年早些時候表示 ，“HBMNext”內(nèi)存將于 2026 年左右上市，每個堆棧的容量將在 36 GB 至 64 GB 之間，每個堆棧的峰值帶寬將達到 2 TB/s 或更高。所有這些都表明，即使轉(zhuǎn)向更寬的內(nèi)存總線，內(nèi)存制造商也不會放棄 HBM4 的內(nèi)存接口時鐘速度。

　　02 HBM 4爭奪戰(zhàn)，即將打響

　　正如上文所說，HBM市場主要由三星、SK海力士和美光三家機構(gòu)把持。按照市場追蹤機構(gòu)TrendForce的數(shù)據(jù)顯示，截至2022年，該公司在全球HBM市場中占領(lǐng)了50%的份額，三星電子緊隨其后，占40 %，其次是美光科技公司占10%。

　　現(xiàn)在，他們也正在HBM 4上火力全開，明爭暗斗。

　　近日全球*存儲芯片制造商三星電子公司的一位高管在一篇博客文章內(nèi)表示，公司目標是在2025年推出第六代*性能高帶寬內(nèi)存4(HBM4)DRAM芯片，以贏得快速增長的人工智能芯片領(lǐng)域迫切激烈戰(zhàn)爭的主導權(quán)。

　　該高管表示，2016年，三星將業(yè)界*用于高性能計算(HPC)的高帶寬內(nèi)存(HBM)商業(yè)化，并尋求擴大AI內(nèi)存市場的機會。一年后，即 2017 年，三星推出了 8 層堆疊 HBM2。與當時最快的 GDDR5 內(nèi)存相比，HBM2 的速度提高了八倍。通過 HBM2，三星成功展示了 3D 堆疊技術(shù)的可行性，該技術(shù)將繼續(xù)成為新 HPC/AI 領(lǐng)域的重要組成部分。隨后，三星量產(chǎn)了 HBM2E 和 HBM3，并開發(fā)了 9.8 Gbps HBM3E，我們很快就會開始向客戶提供樣品，以豐富 HPC/AI 生態(tài)系統(tǒng)。

　　展望未來，HBM4 預計將于 2025 年推出，其技術(shù)針對正在開發(fā)的高熱性能進行了優(yōu)化，例如非導電薄膜 (NCF：non-conductive film) 組裝和混合銅接合 (HCB：hybrid copper bonding )。

　　值得一提的是，因為三星于 2023 年初成立了 AVP(高級封裝)業(yè)務團隊，以加強先進封裝技術(shù)并*限度地發(fā)揮各業(yè)務部門之間的協(xié)同效應。除了 HBM 之外，三星還將提供先進的定制交鑰匙封裝服務，包括 2.5D 和 3D 先進封裝解決方案，非常適合 HPC 和 AI 時代。

　　來到SK Hynix 方面，據(jù)官方資料介紹，2014年，SK海力士與AMD聯(lián)合開發(fā)了全球*硅通孔(TSV, Through Silicon Via)HBM產(chǎn)品。兩家公司還聯(lián)合開發(fā)了高帶寬三維堆疊存儲器技術(shù)和相關(guān)產(chǎn)品。SK海力士還是首家開始批量生產(chǎn)HBM2E的存儲器供應商，HBM2E是HBM2的擴展版本。HBM2E開發(fā)團隊在規(guī)劃階段就立志升級產(chǎn)品規(guī)格，這也是SK海力士維持市場*地位的關(guān)鍵。SK海力士在2021年10月開發(fā)出全球*HBM3，持續(xù)鞏固其市場*地位。HBM3的容量是HBM2E的1.5倍，由12個DRAM芯片堆疊成，總封裝高度相同，適用于AI、HPC等容量密集型應用。

　　在七月的一場投資者分析會上，SK海力士還透露了其下一代產(chǎn)品的具體路線圖。他們將第六代HBM產(chǎn)品HBM4的生產(chǎn)目標定為2026年。目前，SK海力士已確定明年上半年為其下一代產(chǎn)品HBM3E的量產(chǎn)時間。

　　從技術(shù)上來說，有關(guān)于“Mass Rework Molded Underfill”的解釋，這是SK海力士開發(fā)的*個封裝技術(shù)，涉及在芯片上堆疊芯片。SK海力士公開表示，他們將把下一代后處理技術(shù)“混合鍵合”應用于HBM4產(chǎn)品。與現(xiàn)有的“非導電膜”工藝相比，它提高了散熱效率并減少了布線長度，從而實現(xiàn)了更高的輸入/輸出密度。這會將當前的* 12 層增加到 16 層。

　　美光作為HBM市場的后起之秀，也在緊追滿趕兩位韓國存儲巨頭。

　　在今年七月，美光科技公司宣布，已開始提供業(yè)界* 8 高(8-high ) 24GB HBM3 Gen2 內(nèi)存樣品，其帶寬和引腳數(shù)超過 1.2TB/s速度超過 9.2Gb/s，比當前發(fā)售的 HBM3 解決方案提高了 50%。美光 HBM3 Gen2 產(chǎn)品的每瓦性能比前幾代產(chǎn)品提高了 2.5 倍。

　　美光表示，公司的高帶寬內(nèi)存 (HBM) 解決方案的基礎(chǔ)是美光業(yè)界*的 1β (1-beta) DRAM 工藝節(jié)點，該節(jié)點允許將 24Gb DRAM 芯片組裝到行業(yè)標準封裝尺寸內(nèi)的 8 高立方體中。此外，美光的 12 高堆棧(容量為 36GB)將于 2024 年*季度開始提供樣品。

　　按照美光所說，與現(xiàn)有的競爭解決方案相比，公司在給定堆棧高度下提供的容量增加了 50%。美光的 HBM3 Gen2 性能功耗比和引腳速度改進對于管理當今人工智能數(shù)據(jù)中心的極端功耗需求至關(guān)重要。功率效率的提高是可能的，因為美光科技的進步包括硅通孔 (TSV) 比競爭對手的 HBM3 產(chǎn)品增加一倍、通過金屬密度增加五倍來降低熱阻抗以及節(jié)能數(shù)據(jù)路徑設(shè)計。

　　關(guān)于未來的布局，美光披露了暫名為HBMnext的下一代 HBM 內(nèi)存，這有可能將是其HBM 4。

　　美光預計M其 HBMNext 將提供 36 GB 和 64 GB 容量，這意味著多種配置，例如 12-Hi 24 Gb 堆棧 (36 GB) 或 16-Hi 32 Gb 堆棧 (64 GB) 。至于性能，美光宣稱每個堆棧的帶寬為 1.5 TB/s – 2+ TB/s，這意味著數(shù)據(jù)傳輸速率超過 11.5 GT/s/pin。

　　寫在最后：

　　根據(jù)SK海力士預測，AI芯片的繁榮帶動HBM市場到2027年將出現(xiàn)82%的復合年增長率。分析師也認為，預計明年HBM市場將比今年增長一倍以上。三星電子DRAM產(chǎn)品與技術(shù)執(zhí)行副總裁Hwang Sang-joon在KIW 2023上表示：“我們客戶當前的(HBM)訂單決定比去年增加了一倍多。”三星芯片負責業(yè)務的設(shè)備解決方案部門總裁兼負責人 Kyung Kye-hyun 在公司會議上更表示，三星將努力控制一半以上的 HBM 市場。三星內(nèi)存業(yè)務執(zhí)行副總裁 Jaejune Kim 對分析師表示，該公司將在 2023 年至 2024 年間將其 HBM 產(chǎn)能增加一倍。

　　在三星的強勢出擊下，對于SK海力士和美光，需要運籌帷幄，才能避免在未來的HBM競爭中掉隊。