自「天機」登上《自然》封面一年多以來,,這已是清華大學的類腦計算研究最近第三次被自然雜志收錄。
10 月 14 日,,在最新一期《自然》雜志上,,出現了一項類腦計算體系結構的突破性進展。
來自清華大學,、北京信息科學與技術國家研究中心,、美國特拉華大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes)概念。該研究被認為會加速類腦計算,,及通用人工智能等方向的研究,。
目前,發(fā)展通用人工智能(AGI)通常有兩種方法:神經科學導向和計算機科學導向,。由于兩種方法在公式和編碼方式上存在根本差異,,它們依賴于不同且不兼容的平臺,阻礙了 AGI 的發(fā)展,。
論文鏈接:https://www.nature.com/articles/s41586-020-2782-y
該研究的第一作者為清華大學計算機系研究員張悠慧,,與清華大學教授、清華大學類腦計算中心主任施路平共同為該論文的通訊作者,。
神經形態(tài)計算從生物大腦中獲取靈感,,為計算機技術和體系結構的下一波發(fā)展提供了方向。類腦計算與傳統計算機架構不同,,后者是圍繞圖靈完備和完善的馮諾依曼結構,,前者目前還沒有沒有廣義的系統層次結構,,或對類腦性計算的完整性的理解。這會影響類腦計算軟件和硬件之間的兼容性,,從而阻礙了大類腦式計算的開發(fā)效率,。
面對這一挑戰(zhàn),清華大學等機構的研究者們提出了「類腦計算完備」概念,,它放寬了對硬件完整性的要求,,并提出了相應的系統層次結構,其中包括圖靈完備的軟件抽象模型和通用的抽象神經形態(tài)架構,。
使用這種層次結構,,我們可以將各種程序描述為統一的表示形式,并轉換為任何神經形態(tài)完整硬件上的等效可執(zhí)行文件,。這意味著,,這一體系可以確保編程語言的可移植性、硬件完整性和編譯可行性,。
為了支持在各種典型硬件平臺上執(zhí)行不同類型的程序,,研究人員實現了一系列工具鏈軟件,進而證明了該系統結構的優(yōu)勢,。
全新的系統層次結構
在這項研究中,,研究者提出了一種具有高度通用性和普適性的類腦計算系統層次結構,該結構包括三個層次:軟件,、硬件和編譯,。
與傳統的計算系統層次結構不同,對于類腦計算系統層次結構而言,,軟件層指的是神經形態(tài)應用和開發(fā)框架(如 Nengo 和 PyTorch),。相應地,研究者提出將 POG 作為軟件的中間表征,, EPG 作為硬件的中間表征(CFG,,控制流圖),并引入編譯工具將 POG 轉換為 EPG,。對于硬件層,研究者提出了抽象神經形態(tài)結構(ANA),,包括調度單元,、處理單元、內存和互連網絡,,作為神經形態(tài)硬件(TrueNorth,、SpiNNaker、Tianjic 和 Loihi)抽象,。
考慮到類腦計算的相似性,,研究者進一步提出了「類腦計算完備性」的概念,,引入了逼近等價(approximation equivalence)和近似等價(precise equivalence)。
類腦計算機系統與傳統計算機系統的層次結構對比,。
軟件
圖中的軟件是指編程語言或框架,,以及以它們?yōu)榛A構建的算法或模型。在這一層面上,,研究者提出了一個統一的,、通用的軟件抽象模型——POG(programming operator graph)——來適配多種類腦算法和模型設計。POG 由統一的描述方法和事件驅動的并行程序執(zhí)行模型組成,,該模型集成了存儲和處理,。它描述了什么是類腦程序并定義了如何執(zhí)行該程序。由于 POG 是圖靈完備的,,它能夠最大程度上支持多種應用,、編程語言和框架。
硬件
硬件部分包括所有類腦芯片和架構模型,。研究者設計了抽象神經形態(tài)結構作為硬件抽象,。它有一個 EPG( execution primitive graph),用作和上一層之間的接口,,來描述它可以執(zhí)行的程序,。EPG 有一個混合的「control-flow–dataflow」表示,用來最大化其對不同硬件的適應性,,同時也符合一個流行的硬件趨勢——混合架構,。
編譯
編譯是將一個程序轉化為硬件所支持的一種等價形式的中間層。為了提高可用性,,研究者提出了一組基本的硬件執(zhí)行原語,,這些原語在主流的類腦芯片中得到了廣泛的支持,同時證明了配備了這套原語的硬件是神經形態(tài)完備的,。此外,,研究者還以一個工具鏈軟件作為編譯層的實例,論證了該層次結構的可行性,、合理性和優(yōu)越性,。
研究者提到:「這一層次結構避免了硬件和軟件之間的緊密耦合,確保任何類腦程序都可以用圖靈完備 POG 來表示,,然后在任何神經形態(tài)完備的硬件上編譯成等效的可執(zhí)行 EPG,。我們確保了編程的可移植性、硬件的完整性和編譯的可行性,,并通過實驗驗證了神經形態(tài)完備性引入的系統設計維度優(yōu)化效果,。這一層次結構也促進了軟硬件的協同設計。」
與當今常規(guī)計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應,,全新的類腦計算完備性及軟硬件去耦合的類腦計算系統層次結構證明了自身的可行性,,同時又擴展了類腦計算系統應用范圍,使之能支持通用計算,。
這項研究為處于起步階段的類腦計算方向,,填補了完備性理論與相應系統層次結構方面的空白,有利于自主掌握新型計算機系統核心技術,。
《自然》雜志的一位審稿人認為,,「這是一個新穎的觀點,并可能被證明是神經形態(tài)計算領域以及面向人工智能研究的重大發(fā)展,?!?/p>