英特爾與南京大學聯(lián)合成立了一個「人工智能聯(lián)合研究中心」,。9 月 12 日,，英特爾中國研究院院長宋繼強與南京大學人工智能學院院長周志華在南京為這個名為「英特爾-南京大學人工智能 IPCC 中心」的機構(gòu)揭了牌。

「我想通過和英特爾的合作,，不僅會進一步推動我們在人工智能,、機器學習算法方面的研究,，同時也會進一步擴大這些研究對芯片硬件架構(gòu)方面進一步發(fā)展的影響」,，周志華表示,，「此外，因為英特爾已經(jīng)給各行各業(yè)的用戶提供了技術支持和服務,，通過這次合作,，也有可能進一步把我們的研究成果進一步推向產(chǎn)業(yè)化應用，提供更好的發(fā)展空間,?！?br/>

周志華與宋繼強曾經(jīng)是南京大學計算機科學與技術系的九年同窗，如今這兩位昔日校友又分別以學界和業(yè)界的身份走到一起,，一位帶來了對深度神經(jīng)網(wǎng)絡結(jié)構(gòu)的可替代方法的深入思考——「深度森林」，另一位帶來了以英特爾至強系列處理器為代表的「一片多核」硬件架構(gòu),，目標是給更大,、更需要可解釋性的任務提供不被數(shù)據(jù)規(guī)模局限的、更易訓練也更容易分析的算法解決方案,。

深度神經(jīng)網(wǎng)絡之外的深度學習

「很多外界的人有兩個有失偏頗的觀點,。第一，會傾向于認為人工智能這一波進步完全是深度學習帶起來的,，但是其實深度學習只是背后的一部分,，比如 AlphaGo 背后更重要的是強化學習,。第二，會傾向于認為深度學習就是深度神經(jīng)網(wǎng)絡,。我們的探索就是試圖告訴大家：深度學習不光是深度神經(jīng)網(wǎng)絡,，還有很多別的東西?！乖诮遗苾x式之后的采訪上,，周志華對于深度森林工作的意義這樣解釋道。同時他也講述了自己對于深度學習的發(fā)展趨勢的判斷：「在未來,，完全基于深度神經(jīng)網(wǎng)絡的『狹義深度學習』的空間可能逐漸地變小,，因為它有用的范圍我們逐漸都知道了。但是廣義的深度學習可能會長期存在下去,，甚至變成以后的機器學習系統(tǒng)的一個基本配置,。」

什么是「廣義深度學習」,？周志華將其定義為「由更深更大的由子模型組成的解決復雜問題的模型」,，這里的子模型可能是神經(jīng)網(wǎng)絡，可能是隨機森林,，也可能是其他的結(jié)構(gòu),。

深度森林算法提出在去年年初，gcForest 也于去年六月開源,?！浮簺]有免費午餐』定理嚴格證明了沒有一種模型適用于全部的數(shù)據(jù)類型。深度神經(jīng)網(wǎng)絡在圖像,、語音數(shù)據(jù)上特別有效,，而我們的前期研究發(fā)現(xiàn)，森林結(jié)構(gòu)在符號數(shù)據(jù),、離散數(shù)據(jù)混合建模上可能有特長,。」正如 IJCAI 論文結(jié)尾所言,，團隊認為這項新方法能夠為使用深度學習方法解決更多任務打開一扇深度神經(jīng)網(wǎng)絡之外的大門,。

在過去一年多的時間里，周志華團隊也一直在從不同角度「敲門」,。在會后的采訪中,，周志華分享了一些團隊進行過的嘗試的方向：一方面探索深度森林的能力邊界，比如探索深度森林是否具有傳統(tǒng)認為只有神經(jīng)網(wǎng)絡才具有的的自編碼能力,；一方面研究如何調(diào)動更多計算資源,，更好利用其自身的高并行性的特點，做任務級的并行；最后在應用層面,，他的團隊也和螞蟻金服等合作,，檢驗深度森林算法在一個真實場景下的真實任務（從有大量離散特征的網(wǎng)上金融交易數(shù)據(jù)中進行非法套現(xiàn)檢測）里效果如何。如今三方面都有不錯的進展,。

CPU 與其他硬件的深度學習加速之路

在應用層面上,，沒有一套硬件解決方案能夠適用于所有的場景已經(jīng)是一個共識了。宋繼強介紹了英特爾中國研究院的主要方向：面向未來無處不在的具備完整的外界感知,、理解決策,、以及行為能力的自主前端設備。這些設備對算力的需求可以說是五花八門,。英特爾如今最新的至強處理器通過加強了單精度和可變精度浮點數(shù)的計算能力來對深度學習應用做了適應性的調(diào)整,，但是可以進行的嘗試還有更多。

「同樣的人工智能算法在 100 個行業(yè)就有 100 種甚至更多的不同使用方式,，每一種使用方式都可能有最好的軟硬件搭配的方法,。在前端、云端,、邊緣的計算對于計算資源的功耗,、尺寸、實時性的要求都不一樣,。英特爾給出的答案是『混搭』,，用多個芯片內(nèi)核通過高級的集成封裝技術進行 2D 和 3D 層面高速互聯(lián)，實現(xiàn)異構(gòu)計算,?！顾卫^強介紹道。

應用層面不能在硬件上以「一」待勞,，學術研究方向也是如此,。

「深度森林和現(xiàn)在的深度神經(jīng)網(wǎng)絡不一樣的一個地方在于，它不適合用 GPU 加速,?！怪苤救A坦言。

在「更大的模型會帶來更好效果」的廣義深度學習基本假設之下,，想要將深度森林做得更大,，就要進行一些不一樣的嘗試。

「一種是我們和在工業(yè)界的合作伙伴一起做分布式的計算系統(tǒng),，而另一種就是能否用其他硬件提高其可擴展性,。經(jīng)過大量的前期調(diào)研，我們認為英特爾的一片多核的結(jié)構(gòu)極有可能對加速這樣的模型有特別的幫助,。」

在軟件優(yōu)化之外，如果能夠在算法研究的前期直接從指令集層面乃至芯片布局層面進行思考與優(yōu)化,，對于模型效果會有怎樣的幫助,？能不能同時思考軟硬件問題以實現(xiàn)最佳性能與效率？這是世界上的各個研究機構(gòu)都在思考的問題,，周志華團隊也不例外,。

「深度森林主要基于樹架構(gòu)，每一個模型可以視為由多棵樹組成,。第一,，能不能進行任務級的并行，能不能同時做多棵樹,？第二,，樹結(jié)構(gòu)很難在 GPU 上運行，因為它中間涉及到很多分支選擇,，這讓它與一個片上多個 CPU 的結(jié)構(gòu)非常契合,。」

團隊已經(jīng)進行了一些實驗,，「我們利用一塊英特爾至強融核的芯片（KNL）,，對一個特殊版本的深度森林做出了 64 倍的加速?！?/p>

同時,，他們也有很多更遠大的構(gòu)想，比如投入到大規(guī)模任務中,，利用硬件加速提供更好的性能和效率：「受限于現(xiàn)在的計算架構(gòu),，一個特別大的任務進來，內(nèi)存馬上耗光了,，計算也算不下去了,。但是實際從計算開銷來說，一個森林的開銷比一個神經(jīng)網(wǎng)絡要小,。神經(jīng)網(wǎng)絡能通過 GPU 加速獲得性能的大幅提升,，那深度森林能不能利用合適的芯片架構(gòu)，獲得類似的幫助,？」

即使現(xiàn)有的芯片架構(gòu)都不能完美地解決這一問題,，研究者也十分樂于為硬件開發(fā)者提供一些下一步設計上的啟發(fā)。

計算機人才的硬件能力與硬件研發(fā)的人才需求

在周志華看來,，與英特爾的合作是讓南大計算機學科「更進一步」方式,。「原來南京大學的機器學習與人工智能的團隊主要在理論和算法方面做一些工作,，在應用技術方面的研究主要也集中在軟件方面,。南京大學作為一所綜合性大學,，『硬件』一直是我們的計算機科學所欠缺的一條腿。這一步光靠我們自己很難再邁進,，我們希望能通過和英特爾的合作,，在軟硬件結(jié)合方面往前走一步?！?/p>

LAMDA 實驗室的一些研究生已經(jīng)從培養(yǎng)前期就介入了與英特爾的合作,，「他們在進行工作的過程中獲得了很多英特爾資深工程師的指點，現(xiàn)在他們的底層硬件的理解和操作能力,，要遠遠超過一般課程培養(yǎng)出來的學生,。」

而能夠「往前一步」的,，除了以博士生為主的研究人員,，當然也包含本科生。成立于今年 3 月的南京大學人工智能學院剛剛迎來了第一批入學的本科生,，之前公開的一年級課表里,，引人注目的是數(shù)學課：既包含了原先只有數(shù)學系學生需要學的《數(shù)學分析》和《高等代數(shù)》，也包含了原先只有計算機系學生需要學的《離散數(shù)學》,。而本次周志華還透露,，之后的專業(yè)課里還有一門是關于「智能芯片」。

「我們希望能夠培養(yǎng)出人工智能領域高水平的人才,，其中一條就是希望他們能夠兼?zhèn)淙斯ぶ悄苄枰能浻布芰?。我們在考慮引進一些與芯片、硬件設計相關的課程,，其中有一門課就是關于智能芯片的,，而英特爾的合作為我們這方面的人才培養(yǎng)提供了一個非常好的支持?！?/p>

這是南京大學的角度,。而從英特爾的角度，硬件的設計需要考慮「未來的算法」,，因此除了從學界獲得前沿的算法動向,，培養(yǎng)了解硬件、能夠同時思考軟硬件問題的研究者也同樣重要,。

宋繼強說「硬件的設計周期是很長的,，我需要預先知道哪些運算模塊在未來會非常重要，通過聯(lián)合實驗室的方式,，我們挑選能夠『看到未來』的領域開拓者,，讓學界在英特爾的硬件上進行重要的工作負載嘗試，從他們的方向上去尋找未來的方向,，為我們的硬件架構(gòu)設計提供很好的指導,?！?/p>

英特爾與南大的人工智能聯(lián)合研究中心的合作框架以三年為期，屆時南大人工智能學院的全學年學生均已入學,，而英特爾對于如何調(diào)整芯片設計思路以使其更適應廣義深度學習時代的思路,，也會更明朗地體現(xiàn)在通用 CPU,、專用于神經(jīng)網(wǎng)絡加速的 NNP,、 為終端深度學習模型提供專門算力的 VPU 等等芯片中。屆時深度森林以及其他「廣義深度學習」方法的能力范圍,，會隨著算力的升級有怎樣的提升呢,？我們對此拭目以待。