前言:
人工智能時代,隨著AI應用的普及,AI領域迫切需要性能更強,、功耗更低,、成本更低的芯片,。
這其中,以深度學習為代表的AI算法更需要頻繁地進行數(shù)據存取,低功耗和高性能之間的矛盾一直是端側AI芯片落地的難題,。
作者 | 方文
存算一體芯片市場為何被看好
存算一體技術被視為人工智能創(chuàng)新的核心,。存內計算突破了傳統(tǒng)馮諾依曼瓶頸,實現(xiàn)了存儲單元與邏輯單元的融合,是實現(xiàn)智能計算的主要技術路線之一,。
它將存儲和計算有機結合,直接利用存儲單元進行計算,極大地消除了數(shù)據搬移帶來的開銷,解決了傳統(tǒng)芯片在運行人工智能算法上的“存儲墻”與“功耗墻”問題,可以數(shù)十倍甚至百倍地提高人工智能運算效率,降低成本。
當前的存內計算技術主要面臨著硬件資源復用,、存內計算單元設計和模擬運算實現(xiàn)等關鍵挑戰(zhàn)亟待解決,。
國內外存內計算賽道火熱
目前,全球存內計算有不少玩家。除了學術界,產業(yè)界也越來越多的玩家布局該技術,。
IBM基于其獨特的相變存內計算已經有了數(shù)年的技術積累,臺積電正大力推進基于ReRAM的存內計算方案;英特爾,、博世、美光,、Lam Research,、應用材料、微軟,、亞馬遜,、軟銀則投資了基于NOR Flash的存內計算芯片。
5月Myhtic C輪融資了7000萬美元,迄今為止已共計籌集了1．65億美元;6月10日,知存科技宣布完成億元A3輪融資,產品線擴充及新的產品量產,加上此前的兩輪融資,截至目前,知存科技已完成累計近3億元的A輪系列融資,。
6月25日九天睿芯獲億元級A輪融資,用于新產品研發(fā)和人員擴充的工作;7月2日,杭州智芯科完成近億元的天使輪融資,用于繼續(xù)搭建團隊,啟動ACIM下一階段技術研發(fā)與市場拓展,。
8月24日,后摩智能宣布完成3億元人民幣Pre-A輪融資,將用于加速芯片產品技術研發(fā)、團隊拓展,早期市場布局及商業(yè)落地;8月24日,蘋芯科技完成近千萬美元Pre-A輪融資,據悉,本輪融資將主要用于芯片研發(fā)相關工作,。
這些存算一體芯片公司有的處于團隊搭建階段,有的是正在芯片研發(fā)階段,還有的已經到了產品線擴充和量產階段,。
前幾年這個市場國內也就僅有3-4家嶄露頭角的企業(yè),但現(xiàn)在存算一體這個賽道顯然已經開始變得熱鬧起來了,。
哪類存儲做存內計算最好
目前能做存內計算的存儲器并不多,除了FLASH,還有憶阻器、相變存儲器,、鐵電存儲器,、自旋存儲器、SRAM等,但各有各的優(yōu)缺點,。
比如,IBM在相變存儲(PCRAM)里實現(xiàn)神經網絡計算的功能,利用新型存儲器件的模擬計算功能來實現(xiàn)神經網絡的計算,。
加州大學圣芭芭拉分校謝源教授在新型存儲器件ReRAM(阻變存儲)里面做計算的功能,讓存儲器件做神經網絡的計算,稱之為PRIME架構。
有些工廠把目光投向了NOR FLASH,綜合來看,NOR FLASH是目前最適合產業(yè)化的方向,眾多巨頭投資的美國初創(chuàng)公司Mythic采用的也正是NOR FLASH,。NOR FLASH的優(yōu)勢不僅體現(xiàn)在功耗和成熟度等方面,高精度也是很大的優(yōu)勢,。
由于在很多AI推理運算中,90%以上的運算資源都消耗在數(shù)據搬運的過程。芯片內部到外部的帶寬以及片上緩存空間限制了運算的效率,。
所以有人說,存算一體化是下一代AI芯片的關鍵,。
存內計算技術的關鍵挑戰(zhàn)
存內計算雖然可以突破傳統(tǒng)馮諾依曼架構的瓶頸,但是仍受到幾個關鍵問題的制約。
①硬件資源的復用問題,。傳統(tǒng)馮諾依曼架構分立了存儲單元和邏輯單元,并根據距離邏輯單元的遠近,將存儲單元劃分為硬盤,、內存、緩存等多級存儲模式,。這使得有限的邏輯單元可以調用大量的存儲信息,實現(xiàn)了邏輯單元的復用,從而降低了片上資源的開銷,。
②存算一體化單元的設計問題。存內運算對存算一體化單元的性能要求十分苛刻,。在開銷上,存算一體化單元的硬件開銷應該控制在一定范圍內,至少要明顯低于分立的存儲單元和邏輯單元的開銷總和,。
③模擬量運算的實現(xiàn)問題。人工智能算法的運算涉及批量的準模擬量運算,。例如,算法對權重的變化范圍和精度要求較為苛刻,尤其是涉及網絡的訓練過程,權重精度的要求將超過6bits。然而,在硬件實現(xiàn)過程中,數(shù)字量的精準運算開銷較大,。
結尾:
人工智能的硬件化加速方法朝著多元化的方向發(fā)展,各種類型的加速方法的研究同步推進,各具特色且難以相互替代,。
目前國內外在存算一體方面都處于起步階段,存算一體正處于學術界向工業(yè)界遷移的關鍵時期,所以這可能是我們發(fā)展國產芯片的另一大重要方向。
部分內容來源于:中國信息通信研究院CAICT:存內計算技術發(fā)展趨勢分析 ;沉寂近30年后火了!存內計算如何打破AI算力瓶頸?;半導體行業(yè)觀察:存內計算能否成為下一代AI芯片的關鍵;EEWORLD:存內計算:讓AI進入高速路;半導體觀察:存內計算,要爆發(fā)了?;有思想的talk君:王紹迪:存算一體為什么是AI時代主流計算架構?
