隨著最先進(jìn)的 AI 加速器,、圖形處理單元和高性能計(jì)算應(yīng)用程序需要快速處理的數(shù)據(jù)量不斷激增，高帶寬內(nèi)存 （HBM） 的銷量正在飆升。

目前HBM庫(kù)存已售罄,，這是由于對(duì)開發(fā)和改進(jìn) ChatGPT 等大型語(yǔ)言模型的大量努力和投資,。HBM 是存儲(chǔ)創(chuàng)建這些模型所需的大量數(shù)據(jù)的首選內(nèi)存,，通過添加更多層來提高密度而進(jìn)行的更改,，以及 SRAM 縮放的限制，正在火上澆油,。

Rambus 高級(jí)副總裁兼硅 IP 總經(jīng)理 Neeraj Paliwal 表示：“隨著大型語(yǔ)言模型 （LLM） 現(xiàn)在超過一萬億個(gè)參數(shù)并繼續(xù)增長(zhǎng),，克服內(nèi)存帶寬和容量方面的瓶頸對(duì)于滿足 AI 訓(xùn)練和推理的實(shí)時(shí)性能要求至關(guān)重要。

至少這種勢(shì)頭在一定程度上是先進(jìn)封裝的結(jié)果,，在許多情況下,，與平面 SoC 相比，先進(jìn)封裝可以提供更短,、更快,、更強(qiáng)大的數(shù)據(jù)路徑?！邦I(lǐng)先的 [封裝] 正在大放異彩,，”ASE 投資者關(guān)系主管 Ken Hsiang 在最近的財(cái)報(bào)電話會(huì)議上表示?！盁o論是 AI,、網(wǎng)絡(luò)還是其他正在開發(fā)中的產(chǎn)品，對(duì)我們先進(jìn)的互連技術(shù)及其各種形式的需求看起來都非常有希望,?！?/p>

這就是 HBM 恰好適合的地方?！癏BM 架構(gòu)將掀起一股大浪潮 — 定制 HBM,，”三星半導(dǎo)體副總裁兼 DRAM 產(chǎn)品規(guī)劃主管 Indong Kim 在最近的一次演講中說?！癆I 基礎(chǔ)設(shè)施的普及需要極高的效率和橫向擴(kuò)展能力,，我們與主要客戶達(dá)成一致，基于 HBM 的 AI 定制將是關(guān)鍵的一步。PPA — 功耗,、性能和面積是 AI 解決方案的關(guān)鍵,，定制將為 PPA 提供重要價(jià)值。

過去,，經(jīng)濟(jì)學(xué)嚴(yán)重限制了 HBM 的廣泛采用,。硅中介層價(jià)格昂貴，在 FEOL 晶圓廠的存儲(chǔ)單元中處理大量硅通孔 （TSV） 也是如此,?！半S著 HPC、AI 和機(jī)器學(xué)習(xí)的需求,，中介層的尺寸顯著增加,，”ASE 工程和技術(shù)營(yíng)銷高級(jí)總監(jiān) Lihong Cao 說?！案叱杀臼?2.5D 硅中介層 TSV 技術(shù)的主要缺點(diǎn)，”

雖然這限制了其對(duì)大眾市場(chǎng)的吸引力,，但對(duì)成本不太敏感的應(yīng)用（例如數(shù)據(jù)中心）的需求仍然強(qiáng)勁,。HBM 的帶寬是任何其他內(nèi)存技術(shù)都無法比擬的，使用帶有微凸塊和 TSV 的硅中介層的 2.5D 集成已成為事實(shí)上的標(biāo)準(zhǔn),。

但客戶希望獲得更好的性能,，這就是為什么 HBM 制造商正在考慮修改凸塊、凸塊下和模塑材料,，同時(shí)從 8 層到 12 層再到 16 層 DRAM 模塊能夠以閃電般的速度處理工藝數(shù)據(jù),。HBM3E（擴(kuò)展）模塊的處理速度為每秒 4.8 TB（HBM3），在 HBM4 上有望達(dá)到 1 TB/s,。HBM4 實(shí)現(xiàn)這一目標(biāo)的一種方法是將數(shù)據(jù)線數(shù)量從 HBM3 中的 1,024 條增加到 2,048 條,。

如今，有三家公司生產(chǎn) HBM 內(nèi)存模塊——美光,、三星和 SK 海力士,。盡管它們都使用硅通孔和微凸塊來可靠地提供其 DRAM 堆棧和隨附器件以集成到高級(jí)封裝中，但每家公司都采取了略有不同的方法來實(shí)現(xiàn)這一目標(biāo),。三星和美光在每個(gè)凸塊級(jí)別都加入了非導(dǎo)電膜 （NCF） 并使用熱壓縮 （TCB） 粘合,。與此同時(shí)，SK海力士正在繼續(xù)采用模塑底部填充物（MR-MUF）的倒裝芯片質(zhì)量回流焊工藝,，該工藝只需一個(gè)步驟即可將堆棧密封在高導(dǎo)電性模塑材料中,。

HBM 中的垂直連接是使用銅 TSV 和堆疊 DRAM 芯片之間的縮放微凸塊完成的。較低的緩沖器/邏輯芯片為每個(gè) DRAM 提供數(shù)據(jù)路徑,?？煽啃詥栴}在很大程度上取決于回流焊、粘合和模具背面研磨過程中的熱機(jī)械應(yīng)力。識(shí)別潛在問題需要測(cè)試高溫工作壽命 （HTOL）,、溫度和濕度偏差 （THB） 以及溫度循環(huán),。結(jié)合預(yù)處理和無偏濕度和應(yīng)力測(cè)試 （uHAST） 來確定級(jí)別之間的粘附水平。此外,，還需要進(jìn)行其他測(cè)試,，以確保長(zhǎng)期使用時(shí)沒有微凸塊，例如短路,、金屬橋接或芯片和微凸塊之間的界面分層,。混合鍵合是替代 HBM4 代產(chǎn)品微凸塊的一種選擇,，但前提是無法滿足良率目標(biāo),。

△圖 1： 實(shí)現(xiàn)最大數(shù)據(jù)吞吐量的 HBM 堆棧。資料來源：Rambus

正在開發(fā)的另一項(xiàng)進(jìn)展涉及 3D DRAM 設(shè)備,，它與 3D NAND 一樣,，可以將存儲(chǔ)單元側(cè)向轉(zhuǎn)動(dòng)?！?D DRAM 堆疊將大大降低功耗和面積,，同時(shí)消除來自中介層的性能障礙，”三星的 Kim 說,?！皩?nèi)存控制器從 SoC 重新定位到基礎(chǔ)芯片將啟用更多指定用于 AI 功能的邏輯空間。我們堅(jiān)信定制 HBM 將開啟性能和效率的新水平,。緊密集成的內(nèi)存和代工廠功能將為大規(guī)模部署提供更快的上市時(shí)間和最高的質(zhì)量,。

△圖 2：三星的 DRAM 路線圖和創(chuàng)新。來源：Semiconductor Engineering/MemCon 2024

這里的總體趨勢(shì)是將 logic 移近內(nèi)存,，以便在內(nèi)存中或附近進(jìn)行更多處理,，而不是將數(shù)據(jù)移動(dòng)到一個(gè)或多個(gè)處理元素。但從系統(tǒng)設(shè)計(jì)的角度來看,，這比聽起來要復(fù)雜得多,。

“這是一個(gè)激動(dòng)人心的時(shí)刻。AI 如此炙手可熱,，HBM 就是一切,。各種存儲(chǔ)器制造商都在與時(shí)間賽跑，成為率先生產(chǎn)下一代 HBM 的公司,，“Lam Research 先進(jìn)封裝技術(shù)總監(jiān) CheePing Lee 說,。

下一代是 HBM4，JEDEC 正忙于為這些模塊制定標(biāo)準(zhǔn),。與此同時(shí),，JEDEC 將 HBM3E 標(biāo)準(zhǔn)的最大內(nèi)存模塊厚度從 720 毫米擴(kuò)大到 775 毫米，該標(biāo)準(zhǔn)仍然允許 40μm 厚的小芯片。HBM 標(biāo)準(zhǔn)規(guī)定了每個(gè)引腳的傳輸速率,、每個(gè)堆棧的最大芯片,、最大封裝容量（以 GB 為單位）和帶寬。與這些標(biāo)準(zhǔn)相伴的設(shè)計(jì)和流程簡(jiǎn)化有助于以更快的速度將 HBM 產(chǎn)品推向市場(chǎng) - 現(xiàn)在每 2 年一次,。即將推出的 HBM4 標(biāo)準(zhǔn)將定義 24 Gb 和 32 Gb 層,，以及 4 層、8 層,、12 層和 16 層 TSV 堆棧,。

HBM 的演變

高帶寬內(nèi)存的開發(fā)可以追溯到 2008 年的研發(fā)工作，以解決與計(jì)算內(nèi)存相關(guān)的功耗和占用空間增加的問題,?！爱?dāng)時(shí)，GDDR5 作為最高頻段的 DRAM,，被限制為 28 GB/s（7 Gbps/引腳 x 32 個(gè) I/O）,，”三星的 Sungmock Ha 和同事說。[1] “另一方面,，HBM Gen2 將 I/O 數(shù)量增加到 1,024 個(gè),，而不是將頻率降低到 2.4Gbps 以實(shí)現(xiàn) 307.2 GB/s。從 HBM2E 開始,，采用 17nm 高 k 金屬柵極技術(shù)，達(dá)到每引腳 3.6Gbps 和 460.8 GB/s 帶寬?，F(xiàn)在,，HBM3 新推出了每引腳 6.4Gbps 的傳輸速率，具有 8 到 12 個(gè)芯片堆棧,，與上一代相比,，帶寬提高了約 2 倍。

這只是故事的一部分,。HBM 一直在向加工靠攏以提高性能,，這為多種加工選擇打開了大門。

Mass Reflow 是最成熟和最便宜的焊接選擇,?！耙话銇碚f，只要有可能,，就會(huì)使用大規(guī)?；亓骱福?yàn)榘惭b的資本支出很大,，而且成本相對(duì)較低,，”Amkor 工程和技術(shù)營(yíng)銷副總裁 Curtis Zwenger 說。“Mass Reflow 繼續(xù)為將裸片和高級(jí)模塊連接到封裝基板提供了一種經(jīng)濟(jì)高效的方法,。然而,，隨著性能期望的提高，以及 HI 模塊和先進(jìn)基板的解決方案空間,，凈效應(yīng)之一是 HI（異構(gòu)集成）模塊和基板的翹曲量增加,。熱壓縮和 R-LAB（反向激光輔助鍵合）都是對(duì)傳統(tǒng) MR 的工藝改進(jìn)，可以更好地處理 HI 模塊級(jí)別和封裝級(jí)別的更高翹曲,。

微凸塊金屬化經(jīng)過優(yōu)化,，以提高可靠性。如果微凸塊和焊盤之間的互連在細(xì)間距應(yīng)用中使用帶有助焊劑和底部填充的常規(guī)回流焊工藝,，則底部填充空隙滯留和剩余的助焊劑殘留物會(huì)導(dǎo)致凸塊之間滯留,。為了解決這些問題，預(yù)涂非導(dǎo)電薄膜 （NCF） 可以在一步粘合工藝中取代助焊劑,、底部填充和粘合工藝,，而不會(huì)捕獲底部填充空隙和剩余的助焊劑殘留物。

三星在其 12 層 HBM3E 中使用了帶有熱壓縮鍵合的薄 NCF,，據(jù)稱其具有與 8 層堆棧相同的高度規(guī)格,，帶寬高達(dá) 1,280 GB/s，容量為 36 GB,。NCF 本質(zhì)上是帶有固化劑和其他添加劑的環(huán)氧樹脂,。該技術(shù)有望帶來更多好處，尤其是在更高的堆棧中,，因?yàn)樵撔袠I(yè)正在尋求減輕更薄芯片帶來的芯片翹曲,。三星每一代都會(huì)擴(kuò)大其 NCF 材料的厚度。訣竅是完全填充凸塊周圍的底部填充區(qū)域（為凸塊提供緩沖）,，使焊料流動(dòng),，不留下空隙。

SK 海力士在其 HBM2E 一代產(chǎn)品中首次從 NCF-TCB 轉(zhuǎn)換為大規(guī)?；亓鞒尚偷撞刻畛?。導(dǎo)電模具材料是與其材料供應(yīng)商合作開發(fā)的，可能采用專有的注射方法,。該公司使用其質(zhì)量回流焊工藝展示了更低的晶體管結(jié)溫,。

HBM 中的 DRAM 堆棧放置在緩沖芯片上，隨著公司努力在該基礎(chǔ)芯片上實(shí)現(xiàn)更多邏輯以降低功耗,，同時(shí)還將每個(gè) DRAM 內(nèi)核連接到處理器,，緩沖芯片的功能正在不斷增長(zhǎng)。每個(gè)晶片都被拾取并放置在載體晶圓上,，焊料經(jīng)過回流焊,，最終堆棧成型,，經(jīng)過背面研磨、清潔,，然后切割,。臺(tái)積電和 SK 海力士宣布，該代工廠未來將向這家存儲(chǔ)器制造商供應(yīng)基礎(chǔ)芯片,。

“人們對(duì)邏輯上的內(nèi)存非常感興趣,，”Synopsys 的研發(fā)總監(jiān) Sutirtha Kabir 說?！坝洃涍壿嬍沁^去研究的東西,，這也不能排除。但這些都將在功率和散熱方面面臨挑戰(zhàn),，而這些挑戰(zhàn)是相輔相成的,。直接影響將是熱誘導(dǎo)應(yīng)力，而不僅僅是裝配體級(jí)應(yīng)力,。而且你很可能會(huì)使用混合鍵合,，或者非常細(xì)間距的鍵合，那么熱問題對(duì)那里的機(jī)械應(yīng)力有什么影響呢,？

來自該基本邏輯的熱量也會(huì)在 logic 和 DRAM 芯片 1 之間的接口處產(chǎn)生熱機(jī)械應(yīng)力,。由于 HBM 模塊靠近處理器放置，因此來自邏輯的熱量不可避免地會(huì)散發(fā)到存儲(chǔ)器中,?！拔覀兊臄?shù)據(jù)顯示，當(dāng)主機(jī)芯片溫度升高 2°C 時(shí),，HBM 端的結(jié)果至少會(huì)增加 5°C 到 10°C,，”SK 海力士高級(jí)技術(shù)經(jīng)理 Younsoo Kim 說。

其他問題需要通過 NCF TCB 流程解決,。在高溫和高壓下發(fā)生的熱壓粘合會(huì)引起 2.5D 裝配問題,，例如凸塊和底層鎳焊盤之間的金屬橋接或界面分層,。TCB 是一種低通量工藝,。

對(duì)于任何多小芯片堆棧，翹曲問題都與飾面材料的膨脹系數(shù) （TCE） 不匹配有關(guān),，這會(huì)在加工和使用過程中隨著溫度循環(huán)而產(chǎn)生應(yīng)力,。壓力往往集中在痛點(diǎn)上 — 基礎(chǔ)芯片和第一個(gè)內(nèi)存芯片之間，以及微凸塊水平,。具有仿真功能的產(chǎn)品模型可以幫助解決此類問題,，但有時(shí)這些問題的全部范圍只能在實(shí)際產(chǎn)品上觀察到。

結(jié)論

AI 應(yīng)用依賴于多個(gè) DRAM 芯片,、TSV,、一個(gè)可以包含內(nèi)存驅(qū)動(dòng)器的基本邏輯芯片以及多達(dá) 100 個(gè)去耦電容器的成功組裝和封裝,。與圖形處理器、CPU 或其他處理器的結(jié)合是一個(gè)精心編排的組裝,，其中所有移動(dòng)部件必須齊心協(xié)力地組合在一起,，以形成高產(chǎn)量和可靠的系統(tǒng)。

隨著行業(yè)從 HBM3 過渡到 HBM4,，制造高水平 DRAM 堆棧的工藝只會(huì)變得更加復(fù)雜,。但供應(yīng)商和芯片制造商也在密切關(guān)注低成本的替代方案，以進(jìn)一步提高這些極快且必要的存儲(chǔ)芯片堆棧的采用率,。