1965年，英特爾創(chuàng)始人Gordon Moore首次提出摩爾定律，并于1975年進(jìn)行修正,。根據(jù)摩爾定律,，技術(shù)進(jìn)步將使集成電路(微芯片)的集成度大約每18-24個月翻一番。摩爾定律問世時,，集成電路問世才6年,，Moore實(shí)驗(yàn)室在一個芯片上還只能集成50個晶體管。50年后,，最先進(jìn)的芯片可以集成10幾億個晶體管,。但是，我們現(xiàn)在面臨一個問題：摩爾定律,，還能延續(xù)多少年?
是的,，在過去50年，傳統(tǒng)數(shù)字計(jì)算機(jī)的性能在不斷提高,。集成電路的技術(shù)進(jìn)步一方面使得硬件變得越來越強(qiáng)大,，另一方面也給尋求優(yōu)化算法性能的系統(tǒng)架構(gòu)師帶來了挑戰(zhàn)。
類腦計(jì)算
下一代高性能,、低功耗的計(jì)算機(jī)系統(tǒng)需要像大腦學(xué)習(xí),。
隨著設(shè)計(jì)者從通用的計(jì)算機(jī)技術(shù)轉(zhuǎn)向大腦啟發(fā)(神經(jīng)形態(tài))系統(tǒng)，他們也必須從支撐通用機(jī)器的既定形式層次結(jié)構(gòu)中走出來,。也就是說,，抽象框架廣泛地定義了軟件是如何被數(shù)字計(jì)算機(jī)處理，并轉(zhuǎn)換成在機(jī)器硬件上運(yùn)行的操作的,，這種層次結(jié)構(gòu)有助于實(shí)現(xiàn)計(jì)算機(jī)性能的快速增長,。
通用計(jì)算機(jī)設(shè)計(jì)的一個重要特點(diǎn)是軟硬件去耦合，而這一特點(diǎn)使得新設(shè)備(芯片,、內(nèi)存等)能夠獲得最佳性能,。通過設(shè)置對硬件的最低要求，將用高級語言編寫的軟件程序,，轉(zhuǎn)換成任何機(jī)器所需的精確等效的指令序列變得可行,，這一過程稱為編譯。在這個編譯過程中,，支持使用代表基本計(jì)算操作的指令的計(jì)算機(jī)被稱為圖靈完備,。因此，軟件代碼通常只寫一次,，然后可以在多個圖靈完備的處理器架構(gòu)上編譯和執(zhí)行,，以產(chǎn)生等效的結(jié)果。
圖1 在計(jì)算機(jī)硬件上，基于層次結(jié)構(gòu)實(shí)現(xiàn)算法
然而,，人們普遍認(rèn)為,，摩爾定律時代即將結(jié)束：數(shù)字計(jì)算機(jī)能力的進(jìn)步速度似乎正在放緩。此外,，數(shù)字計(jì)算非常耗能,，促使人們尋找替代方案。
傳統(tǒng)計(jì)算機(jī)依循馮·諾依曼架構(gòu)設(shè)計(jì),，存儲與計(jì)算功能分離,。每進(jìn)行一次運(yùn)算，計(jì)算機(jī)都要在內(nèi)存和CPU兩個區(qū)域之間來回調(diào)用,，大數(shù)據(jù)處理效率有待提高,。除此之外，因?yàn)樵诖鎯εc計(jì)算空間之間來回調(diào)用,，芯片的能耗大部分轉(zhuǎn)化為熱量,，既不利于設(shè)備的性能穩(wěn)定，又不環(huán)保,。
類腦芯片就不一樣了,，人腦中存儲與計(jì)算功能是合二為一的?？茖W(xué)家們長期以來一直對大腦的計(jì)算能力著迷,，大腦不僅具有難以置信的能效，而且由于其神經(jīng)元和突觸的架構(gòu),，還擁有獨(dú)特的信息處理性能,。類腦芯片可以模擬人腦的復(fù)雜處理能力，啟發(fā)了神經(jīng)形態(tài)計(jì)算領(lǐng)域,，一個使用大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作為下一代計(jì)算機(jī)基礎(chǔ)的研究領(lǐng)域,。
神經(jīng)形態(tài)計(jì)算的重點(diǎn)通常是脈沖神經(jīng)網(wǎng)絡(luò)——由相互連接的人工神經(jīng)元組成的系統(tǒng)，其中每個神經(jīng)元在激活水平達(dá)到閾值時都會表現(xiàn)出短暫的“脈沖”,。與現(xiàn)代深度學(xué)習(xí)應(yīng)用中常用的人工神經(jīng)網(wǎng)絡(luò)相比,，這種系統(tǒng)更類似于生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)形態(tài)硬件已經(jīng)產(chǎn)生了一系列的格式,，包括數(shù)字和模擬,。然而，大多數(shù)系統(tǒng)都有共同的設(shè)計(jì)原則,，例如內(nèi)存和處理器的協(xié)同定位,。
開發(fā)神經(jīng)形態(tài)硬件應(yīng)用一個挑戰(zhàn)是，目前不存在圖靈完備性等形式層次,。相反,，每個新的芯片架構(gòu)都需要一個定制的軟件工具鏈,，即一組編程工具來定義算法，并通過將它們映射到獨(dú)特的硬件上來執(zhí)行它們,，這使得很難比較執(zhí)行相同算法的不同神經(jīng)形態(tài)系統(tǒng)的性能,，并且需要研究人員理解算法和硬件的所有方面，以獲得潛在的類似大腦的性能,。
厚積薄發(fā)
清華大學(xué)施路平團(tuán)隊(duì)長期致力于類腦計(jì)算領(lǐng)域的研究,。2015年，第一代“天機(jī)芯”DEMO問世,，制程約為110納米。2017年,，第二代“天機(jī)芯”芯片制程為28 nm,。
2019年7月31日，施路平團(tuán)隊(duì)以Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture為題,，在Nature封面論文報(bào)道了第三代天機(jī)芯片,，通過無人駕駛自行車上的實(shí)驗(yàn)演示，實(shí)現(xiàn)了機(jī)器學(xué)習(xí)和類腦算法的完美結(jié)合,，標(biāo)志著中國在人工智能領(lǐng)域進(jìn)入了關(guān)鍵時刻,。
時隔一年之后，2020年10月15日,，清華大學(xué)施路平,、張悠慧等人又一次在Nature發(fā)表類腦計(jì)算的最新研究成果。他們定義了一個新的層次結(jié)構(gòu),，將算法的要求及其在一系列神經(jīng)形態(tài)系統(tǒng)上的實(shí)現(xiàn)形式化,，從而為結(jié)構(gòu)化的研究方法奠定基礎(chǔ)。在該方法中,，受大腦啟發(fā)的計(jì)算機(jī)的算法和硬件可以分別設(shè)計(jì),。值得一提的是，在這兩個重大研究成果中,，施路平教授都是通訊作者,，而張悠慧教授都是第一作者之一，并在最新的Nature論文中擔(dān)任通訊作者之一,。
這一次,，清華大學(xué)施路平、張悠慧研究團(tuán)隊(duì)提出了一個突破性解決方案,，他們稱之為神經(jīng)形態(tài)完備性,。這是對圖靈完備性的認(rèn)可，旨在將算法和硬件開發(fā)分離開來,。
作者提出,，如果一個類大腦系統(tǒng)能夠以規(guī)定的精確度執(zhí)行一組給定的基本操作,，它就是神經(jīng)形態(tài)完備的，這是對圖靈完備性的一種偏離,。在圖靈完備性中,，一個系統(tǒng)只有在為給定的一組基本運(yùn)算提供了精確且同等的結(jié)果時，才能被定義為完備的,。
神經(jīng)形態(tài)完備框架
在提出的神經(jīng)形態(tài)完備框架中,，基本操作包括兩種，稱為加權(quán)和操作和元素校正線性操作,，這使得硬件系統(tǒng)能夠支持脈沖和非脈沖人工神經(jīng)網(wǎng)絡(luò),。作者展示了他們的大腦啟發(fā)計(jì)算的層次結(jié)構(gòu)如何提供一種機(jī)制，將給定的算法轉(zhuǎn)換成適合一系列神經(jīng)形態(tài)完整設(shè)備的形式,。
新層次結(jié)構(gòu)的一個關(guān)鍵亮點(diǎn)在于,，提出了一個連續(xù)完備性——可以接受不同級別的算法性能，這取決于神經(jīng)形態(tài)系統(tǒng)執(zhí)行基本操作的準(zhǔn)確性,。這種完備性的連續(xù)性意味著,，新的層次結(jié)構(gòu)可以使用所有可用的模擬和數(shù)字神經(jīng)形態(tài)系統(tǒng)來實(shí)現(xiàn)，包括那些為了執(zhí)行速度或能量效率而犧牲準(zhǔn)確性的系統(tǒng),。
圖2 類腦計(jì)算機(jī)層次結(jié)構(gòu)(左)與現(xiàn)有通用計(jì)算機(jī)(右)的對比
完備性的連續(xù)還允許算法的在同一硬件上的不同運(yùn)行,。例如，探索如何根據(jù)芯片大小來權(quán)衡算法精度,，以降低功耗,。研究人員在三個任務(wù)的算法執(zhí)行中展示了這一方面(“駕駛”無人駕駛自行車、模擬鳥群的運(yùn)動以及執(zhí)行稱為QR分解的線性代數(shù)分析),。每個任務(wù)使用三個典型的神經(jīng)形態(tài)完備硬件平臺來執(zhí)行：作者自己的神經(jīng)形態(tài)芯片,，通用計(jì)算機(jī)中使用的圖形處理單元，一個基于憶阻器設(shè)備的平臺,，可以加速神經(jīng)網(wǎng)絡(luò)的運(yùn)行,。
這種層次結(jié)構(gòu)具有極大的創(chuàng)新性，主要表現(xiàn)為兩點(diǎn)：
1)能夠比較實(shí)現(xiàn)相同算法的等效版本的不同硬件平臺,，以及在相同硬件上實(shí)現(xiàn)的不同算法,。這兩個都是對神經(jīng)形態(tài)架構(gòu)進(jìn)行有效基準(zhǔn)測試的關(guān)鍵任務(wù)。將通用的圖靈完備硬件(GPU)包含在他們的驗(yàn)證實(shí)驗(yàn)中也是非常有價(jià)值的,，因?yàn)檫@表明在某些應(yīng)用中,，層次結(jié)構(gòu)可以潛在地用于證明神經(jīng)形態(tài)設(shè)備優(yōu)于主流系統(tǒng)。
2)有可能將算法和硬件開發(fā)分開,。如果要獲得底層神經(jīng)形態(tài)架構(gòu)的益處,，算法規(guī)模和復(fù)雜性將需要隨著時間的推移而增加。因此,，這種分離將有助于研究人員專注于研究問題的特定方面,，而不是試圖找到完整的端到端解決方案,。這可能會導(dǎo)致對問題的更好理解，并為未來更高性能的神經(jīng)形態(tài)系統(tǒng)的設(shè)計(jì)提供信息,。
結(jié)語
面對即將到來的計(jì)算機(jī)架構(gòu)發(fā)展黃金十年,，類腦計(jì)算被認(rèn)為是最有希望的方案之一。
清華大學(xué)團(tuán)隊(duì)所提出的類腦計(jì)算系統(tǒng)設(shè)計(jì)思路,，是在現(xiàn)有計(jì)算機(jī)架構(gòu)基礎(chǔ)上,，加入類腦計(jì)算芯片、從而引入空間復(fù)雜性和時空復(fù)雜性,。這樣既可以保持原有計(jì)算機(jī)處理結(jié)構(gòu)化信息的的優(yōu)勢,，又可以利用類腦計(jì)算芯片提升處理非結(jié)構(gòu)化信息的能力。
團(tuán)隊(duì)將堅(jiān)持計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)融合的技術(shù)路線,，并充分利用新型非易失性存儲器件(包括憶阻器)的特殊性質(zhì),，發(fā)展適合這些器件的新的計(jì)算模型和算法，構(gòu)建完全新型的智能計(jì)算體系,。