近日,3D NAND 閃存和 3D DRAM 創(chuàng)新技術(shù)的領(lǐng)先開發(fā)商 NEO Semiconductor 宣布推出其 3D X-AI芯片技術(shù),,旨在取代高帶寬內(nèi)存 (HBM) 內(nèi)部的現(xiàn)有 DRAM 芯片,,通過在 3D DRAM 中實(shí)現(xiàn) AI 處理來解決數(shù)據(jù)總線帶寬瓶頸。
NEO Semiconductor 稱,,3D X-AI 可以減少 AI 工作負(fù)載期間 HBM 和 GPU 之間傳輸?shù)拇罅繑?shù)據(jù),,這將徹底改變 AI 芯片的性能、功耗和成本,,助力各類生成式 AI應(yīng)用,。具體來說,采用NEO Semiconductor的3D X-AI技術(shù)的AI芯片可以實(shí)現(xiàn):
1,、100 倍性能加速:包含 8,000 個(gè)神經(jīng)元電路,,可在 3D 內(nèi)存中執(zhí)行 AI 處理;
2,、功耗降低 99%:最大限度地減少將數(shù)據(jù)傳輸?shù)?GPU 進(jìn)行計(jì)算的需求,,從而降低數(shù)據(jù)總線的功耗和發(fā)熱,。
3、8 倍內(nèi)存密度:包含 300 個(gè)DRAM層,,并允許通過類似 HBM 的堆疊,,可以運(yùn)行更大的 AI 模型。
其實(shí)早在2023年5月,,NEO Semiconductor就宣布將推出全球首款3D DRAM技術(shù),,該技術(shù)的思路跟3D NAND Flash類似,都是通過堆棧層數(shù)來提高內(nèi)存容量,,類似于3D NAND Flash芯片中的FBC浮柵極技術(shù),,但增加一層Mask光罩就可以形成垂直結(jié)構(gòu),因此良率高,,成本低,,密度大幅提升。
NEO Semiconductor當(dāng)時(shí)就表示,,其將推出的第一代3D X-DRAM就可以做到230層堆棧,,核心容量128Gb,而當(dāng)前2D DRAM內(nèi)存的核心容量還在16Gb,。
而此次NEO Semiconductor推出的 3D X-AI 芯片,,就是在進(jìn)一步提升3D X-DRAM層數(shù)的基礎(chǔ)上加入了面向AI的神經(jīng)元電路。
具體來說,,單個(gè) 3D X-AI 芯片包括 300 層容量為 128 Gb 的 3D DRAM 單元和一層具有 8,000 個(gè)神經(jīng)元的神經(jīng)回路,。根據(jù)NEO Semiconductor公布的數(shù)據(jù),這可以支持每個(gè)芯片高達(dá) 10 TB/s 的 AI 處理吞吐量,。如果使用 12 個(gè) 3D X-AI 芯片通過類似HBM的堆疊封裝,, 則可以可實(shí)現(xiàn) 120 TB/s 的處理吞吐量,從而實(shí)現(xiàn) 100 倍的性能提升,。
“由于架構(gòu)和技術(shù)效率低下,,當(dāng)前的AI芯片浪費(fèi)了大量的性能和功率,”NEO Semiconductor的創(chuàng)始人兼首席執(zhí)行官Andy Hsu說,?!爱?dāng)前的 AI 芯片架構(gòu)將數(shù)據(jù)存儲(chǔ)在 HBM 中,并依賴 GPU 執(zhí)行所有計(jì)算,。這種分離的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理架構(gòu)使得數(shù)據(jù)總線成為不可避免的性能瓶頸。通過數(shù)據(jù)總線傳輸大量數(shù)據(jù)將會(huì)導(dǎo)致性能受限和非常高的功耗,。3D X-AI 可以在每個(gè) HBM 芯片中執(zhí)行 AI 處理,。這可以大大減少 HBM 和 GPU 之間傳輸?shù)臄?shù)據(jù),從而提高性能并顯著降低功耗,?!?/p>
Network Storage Advisors總裁Jay Kramer表示:“3D X-AI技術(shù)的應(yīng)用可以加速新興AI用例的開發(fā),,并促進(jìn)新用例的創(chuàng)造。利用3D X-AI技術(shù)創(chuàng)建下一代優(yōu)化的AI芯片,,將開啟AI應(yīng)用創(chuàng)新的新時(shí)代,。”