日前,IBM蘇黎世研究中心宣布,,制造出世界首個人造納米級隨機相變神經(jīng)元芯片,,可實現(xiàn)人工智能的高速無監(jiān)督學習,。外媒對此高度重視并評論道:“這一突破標志著人類在認知計算應用中超密度集成神經(jīng)形態(tài)技術,以及高效節(jié)能技術上的發(fā)展又向前邁進重要的一步,?!?/p>
人工智能的火熱,被今年3月份AlphaGo與李世石的圍棋大戰(zhàn)推向高潮,,本次IBM人工智能芯片的“生物神經(jīng)元”,、“人腦工作方式”等“高大上”屬性更是引起了業(yè)界的廣泛關注。關于類腦計算誰將主導未來趨勢呢?
神經(jīng)元芯片不屬于生物神經(jīng)網(wǎng)絡范疇
英特爾中國研究院前院長,、馭勢科技CEO吳甘沙告訴記者,,關于類腦計算,現(xiàn)在也沒有一個廣為接受的定義,,但現(xiàn)在基本可以看到兩個 方向,,人工神經(jīng)網(wǎng)絡從功能層面模仿大腦的能力,而神經(jīng)擬態(tài)計算(neuromorphic computing)則是從結構層面去逼近大腦,,其結構也有兩個層次,,一是神經(jīng)網(wǎng)絡層面,與之相應的是神經(jīng)擬態(tài)架構和處理器,,二是神經(jīng)元層面,,與之相應的 是元器件。
大家還可以看到其他的一些名詞,,比如腦啟發(fā)計算(brain inspired computing),,基本都是在上述層次里游移。IBM剛剛宣布的人工神經(jīng)元即是在神經(jīng)擬態(tài)計算方向,,在神經(jīng)元結構層面做出的努力,。
“我們稱IBM關注的這類模型為‘脈沖神經(jīng)網(wǎng)絡’。”北京中科寒武紀科技有限公司創(chuàng)始人兼CEO陳天石在接受記者采訪時指 出,,“IBM在人造神經(jīng)元方面的工作,,是以新器件的方式直接模仿脈沖神經(jīng)元的行為,與其前期推出的TrueNorth是一脈相承的,。我們不認為它是生物神 經(jīng)網(wǎng)絡,,而只是理論神經(jīng)科學家的一種數(shù)學模型。但生物的神經(jīng)網(wǎng)絡究竟是什么樣,,神經(jīng)科學家都還是一知半解,,IBM現(xiàn)在就開始模仿,可能為時過早,?!?/p>
寒武紀科技的兩個創(chuàng)始人均是中國科學院腦科學與智能技術卓越創(chuàng)新中心的成員,該中心是由世界頂尖神經(jīng)科學家,,美國科學院院士,、中國科學院外籍院士蒲慕明教授組建的,挑選了中國科學院最優(yōu)秀的腦科學和智能技術專家組建,,一直密切關注著神經(jīng)科學的前沿動態(tài),。
“從新聞報道的內容來看,IBM推出的人造神經(jīng)元是屬于脈沖型神經(jīng)網(wǎng)絡的一款芯片,?!弊鳛槌晒α慨a(chǎn)中國首款嵌入式神經(jīng)網(wǎng)絡處理器芯片的企業(yè),中星微電子集團首席技術官張韻東的看法與陳天石相同,。
作為人工神經(jīng)網(wǎng)絡的一種,,卷積神經(jīng)網(wǎng)絡CNN 是當前人工智能機器視覺領域的研究熱點。
張韻東進一步指出,,IBM人工神經(jīng)元與卷積神經(jīng)網(wǎng)絡處理器芯片(如中星微的“星光智能一號”)相比,,共同之處是,都是屬于受到生物人腦機理的啟 發(fā)而通過半導體電路與器件去實現(xiàn)的,,都是采用CMOS半導體工藝來生產(chǎn)的,。而不同之處在于,所采用的架構和實現(xiàn)方式不同,,前者采用脈沖型架構,,用數(shù)模混合 電路來實現(xiàn);后者采用卷積型架構,,用數(shù)據(jù)驅動的并行數(shù)字電路來實現(xiàn),。
人工神經(jīng)網(wǎng)絡技術更被看好?
由此看來,不管是叫神經(jīng)擬態(tài)計算,,還是叫脈沖神經(jīng)網(wǎng)絡,,IBM的這種技術路線是和人工神經(jīng)網(wǎng)絡并行的一種技術路線,。那么,兩種路線孰優(yōu)孰劣?
張韻東更看好人工神經(jīng)網(wǎng)絡,。他認為,,卷積神經(jīng)網(wǎng)絡與軟件開發(fā)環(huán)境的結合更加緊密,更加易于編程,,易于商用化,。
陳天石也認為,目前為止,,脈沖神經(jīng)網(wǎng)絡與人工神經(jīng)網(wǎng)絡相比,,尚有很大差距。
他舉例道,,脈沖神經(jīng)網(wǎng)絡無法做大尺度的圖像識別,,即使是做簡單的手寫數(shù)字識別,其識別精度也還沒有上世紀80年代流行的多層感知機(經(jīng)典的人工神經(jīng)網(wǎng)絡)做得好,。
我們知道,,寒武紀科技和中星微電子都是國內致力于人工神經(jīng)網(wǎng)絡技術路線的企業(yè),他們對IBM人造神經(jīng)元的看法是否會偏頗?
IEEE“神經(jīng)網(wǎng)絡先鋒獎”獲得者,、Facebook人工智能實驗室負責人、人工智能深度學習權威Yann LeCun此前的評論我們可以參考,。
對TrueNorth以及IBM一直關注的脈沖神經(jīng)網(wǎng)絡,,Yann LeCun說:“這類網(wǎng)絡沒有在任何有意思的問題上表現(xiàn)出與當前最好技術(指人工神經(jīng)網(wǎng)絡深度學習技術)接近的結果”。
回答得有點迂回,,但表達的意思基本清楚,。
脈沖神經(jīng)網(wǎng)絡芯片商業(yè)化還需要好幾年
條條大路通羅馬。不同技術路線的存在,,也自有其生存的土壤,。
人工神經(jīng)網(wǎng)絡是從算法向硬件發(fā)展的。吳甘沙告訴記者,,傳統(tǒng)的算法在通用芯片(CPU和GPU)上效率不高,,于是出現(xiàn)了特定的算法 加速器,來加速包括卷積神經(jīng)網(wǎng)絡,、遞歸神經(jīng)網(wǎng)絡在內的各種神經(jīng)網(wǎng)絡算法,。比如Teradeep,它來源于Yann LeCun(上文提到的深度學習大神)的工作NeuFlow,,已經(jīng)實現(xiàn)了商業(yè)化,。
中國科學院計算技術研究所寒武紀系列芯片在知識產(chǎn)權布局上非常獨到,也開始了商業(yè)化的探索,。谷歌的TPU(Tensor Processing Unit)也是一種專用的加速器芯片,,跟其深度學習軟件Tensor Flow匹配。就中短期而言,這類芯片有很好的商業(yè)化前景,。
對于神經(jīng)擬態(tài)芯片,,常常見諸媒體的是架構和處理器層面的進展。吳甘沙提出,,IBM的TrueNorth芯片和高通的Zeroth芯片,,兩者都基 于脈沖神經(jīng)網(wǎng)絡。TrueNorth發(fā)源于DARPA的SyNAPSE,,展示了在100mW功耗下模擬復雜的遞歸神經(jīng)網(wǎng)絡的能力,,體現(xiàn)了這一架構的獨特之 處(但也有人指出功耗優(yōu)勢來自較低的主頻)。Zeroth的商業(yè)試用并不成功,,目前已轉向人工神經(jīng)網(wǎng)絡加速器,。
英特爾也在做脈沖神經(jīng)網(wǎng)絡的芯片,估計商業(yè)化還需要好幾年,。即便如此,,各家公司還是投入重兵,因為它所代表的新型處理范式——計算與記憶的一體 化,、復雜互聯(lián),、遞歸、時空編碼,、異步,、低精度、隨機性,、高容錯等特征,,有很高的研究價值。例如,,生物神經(jīng)元有很多突觸連接,,這在硅芯片上很難實現(xiàn)。另外,, 傳統(tǒng)的CPU和GPU都是同步的,,實現(xiàn)神經(jīng)擬態(tài)需要異步電路。
“所以說,,另一種思路是在器件方面得到突破,,比如DARPA UPSIDE基于模擬芯片,有些類腦芯片基于憶阻器(memristor),,以及IBM剛剛宣布的人工神經(jīng)元,,所有這些都比傳統(tǒng)的晶體管更容易實現(xiàn)類腦計算?!眳歉噬硰娬{,。
“IBM的神經(jīng)元新器件對脈沖神經(jīng)網(wǎng)絡的硬件實現(xiàn)有很大幫助,,但這類模型在算法方面尚有很長的路要走?!标愄焓硎?,“未來也許會有突破,但近年不樂觀,?!?/p>
實際上,對于人工神經(jīng)元芯片的問世,,IBM自身也是非常清醒的,。他們在指出“這些相變神經(jīng)元是我們到目前為止所創(chuàng)造出的行為最接近生物神經(jīng)元的人工器件”的同時,也強調將面臨“更難的部分——編寫一些能夠真正利用該芯片的神經(jīng)形態(tài)的軟件”,。
但正如IBM所說:“我們沒有任何理由止步于此,。”