新一代人工智能超深度學(xué)習(xí)（ Super  Deep  Learning  SDL）的創(chuàng)新發(fā)展歷程是：早在1991年到1993年，伴隨著大規(guī)集成電路極速發(fā)展的時期,，大規(guī)集成電路的最小面積，最短配線長度,，同時還要考慮電氣特性的多目的最佳化解的獲得,，成為當(dāng)時科學(xué)技術(shù)領(lǐng)域中最為關(guān)注的課題。在那個時代,，由美國學(xué)界提出的導(dǎo)入“熵”的理論解決最佳化組合問題,，這一理論一時也被世界期待。但是,，這個算法同目前深度學(xué)習(xí)相仿,，計算復(fù)雜度極高。即使一個最簡單的電路的計算,，要花費若干天,。面對被世界推崇的理論，我們大膽的提出了“模糊事件概率測度”理論,，通過用模糊事件概率測度判斷組合結(jié)果的價值,，獲得了可以快速進(jìn)行大規(guī)模集成電路的最短配線長，最小面積以及電氣特性的多目的組合最佳化的解的方法,。

　　其實,，當(dāng)今的深度學(xué)習(xí)中的“訓(xùn)練”，由于神經(jīng)網(wǎng)絡(luò)之間不像大規(guī)模集成電路具有模塊之間的連接關(guān)系,，也不像圍棋具有規(guī)則,，可以建立棋子之間的連接關(guān)系,，作為不具有連接關(guān)系的神經(jīng)網(wǎng)絡(luò)從組合理論看，就是需要窮舉法才可以獲得最佳訓(xùn)練結(jié)果,，黑箱問題的出現(xiàn),，其原因就是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練沒有獲得最佳解所造成的。

　　1994年到1999年,，由于已經(jīng)知道傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的致命問題,，為了同當(dāng)時的神經(jīng)網(wǎng)絡(luò)對抗，我們創(chuàng)建了“概率尺度自組織”的無監(jiān)督機器學(xué)習(xí)理論,。在長期的聲音識別,，手寫文字識別，圖像識別等模式識別領(lǐng)域中進(jìn)行了大量的應(yīng)用,，證明了概率尺度自組織機器學(xué)習(xí)理論的特殊的應(yīng)用效果,。

　　2000年到2014年，國際上個人信息法的制定,，成為社會關(guān)注的焦點,。由于當(dāng)時個人信息的67%是通過紙介質(zhì)文檔流失的，為此我們在國際上提出了新的代碼符號信息記錄的方法,，由此“具有隱形結(jié)構(gòu)的第三代條碼網(wǎng)屏編碼誕生了,，可以在A4的一張紙上埋入一本小說的信息倍受業(yè)界的關(guān)注。在這十幾年中針對Google眼鏡,，我們還提出了,，可以把任何圖像直接通過概率尺度自組織的機器學(xué)習(xí)的手法，變換成不到十個字節(jié)的1036的代碼,，就可以把任何圖像作為網(wǎng)絡(luò)入口,，引導(dǎo)從網(wǎng)絡(luò)上下載各種文件，即ITC（Image To Code）理論,，顛覆了當(dāng)今流行的AR技術(shù),。在這期間，我們還提出了“可以統(tǒng)一歐幾里德空間與概率空間的距離公式,。

　　2014年到2016年我們將概率尺度自組織同神經(jīng)網(wǎng)絡(luò)理論結(jié)合,，提出了分散機器學(xué)習(xí)的”超深度學(xué)習(xí)“理論，為人工智能的全面普及應(yīng)用給予了理論支持,。我們是經(jīng)歷過上一個人工智能的研究的人,，對于當(dāng)今火熱的AI熱潮，親身感到上一個人工智能的特點是知識庫,，其突出的成果是日本成功的實現(xiàn)了有軌電車的自動駕駛,，由此在控制理論上產(chǎn)生了模糊控制的新理論。本次人工智能的特點就是機器學(xué)習(xí)，相信本次人工智能高潮的代表性成果一定是自動駕駛汽車,。因為機器學(xué)習(xí)可以把人的知識以概率分布的形式進(jìn)行記述,，大大的簡化了知識庫的形式，面對復(fù)雜的自動駕駛汽車,，機器學(xué)習(xí)可以將人的知識變成機器的智慧,，使復(fù)雜的控制簡化。知識庫只能記述宏觀知識,，機器學(xué)習(xí)在自動駕駛汽車中不僅可以高效率的學(xué)習(xí)人的宏觀知識,，還可以學(xué)習(xí)微觀知識，一個以機器學(xué)習(xí)理論為核心的“機智獲得”的新的自動控制理論將展現(xiàn)在我們面前,。

　　下面我們重點討論深度學(xué)習(xí)所遺留下的問題所在：

　　2016年初,，AlphaGo連續(xù)打敗人類棋手，推崇深度學(xué)習(xí)的熱不斷的升溫,。這說明,，深度學(xué)習(xí)是在實際應(yīng)用中被看好的，應(yīng)該肯定走機器學(xué)習(xí)這條路是時代發(fā)展的必由之路,，必然會給我們帶來意想不到的應(yīng)用效果,，但是，也應(yīng)該清醒的看到深度學(xué)習(xí)目前有很多關(guān)鍵問題不能解決,。雖然深度學(xué)習(xí)在圖像識別,，聲音識別上確實具有一定的應(yīng)用效果，但是,，在產(chǎn)業(yè)界的應(yīng)用,，特別是在控制上的應(yīng)用還存在著很大的問題。

　　必須要指出的是：深度學(xué)習(xí)的訓(xùn)練結(jié)果,，是將目標(biāo)函數(shù)信息通過訓(xùn)練承載到海量的屬于歐幾里德空間的參數(shù)上，即深度學(xué)習(xí)是函數(shù)映射模型,，將概率空間的目標(biāo)函數(shù)映射到歐幾里得空間,，其結(jié)果需要將概率空間的某一類數(shù)據(jù)的所有可能出現(xiàn)的結(jié)果，用人工標(biāo)注后進(jìn)行接近無限次的訓(xùn)練,。例如,，一個語音識別的數(shù)據(jù)就需要2400萬美元的人工標(biāo)注費用，這是深度學(xué)習(xí)難于普及的致命問題,。

　　由于深度學(xué)習(xí)所構(gòu)造的神經(jīng)網(wǎng)絡(luò),，與大腦的機理又是風(fēng)馬牛不相干的，因此也不能看到在神經(jīng)元的方面會起到什么作用,。得到的結(jié)論是：通過這樣的方式所產(chǎn)生的訓(xùn)練效果,，與所投入的硬件開銷不成比例。例如AlphaGo所需要的硬件開銷是1000個CPU，200個GPU,，還需要20萬W的電力消耗,。這樣的硬件開銷如何普及？況且AlphaGo的設(shè)計者也指出深度學(xué)習(xí)在整個系統(tǒng)中的作用只占30％是次要地位,。其實深度學(xué)習(xí)在如AlphaGo這種組合理論的應(yīng)用中,，是否可以起到作用，目前沒有令人信服的理論依據(jù),。

　　圖1 深度學(xué)習(xí)需要搞清的幾個問題

　　深度學(xué)習(xí)還有需要搞清如圖1所示的目前解釋不了的問題,。

　　首先需要搞清為什么層數(shù)越多訓(xùn)練結(jié)果的圖像越清晰？開始我們曾認(rèn)為是承載目標(biāo)函數(shù)的信息的參數(shù)數(shù)量的提高使記錄的信息的信息量的提高,，但是從數(shù)學(xué)上我們可以證明在同等節(jié)點的層與層的訓(xùn)練中,，必定可以找到一組參數(shù)可使輸入信息完全等于輸出信息。這就說明深度學(xué)習(xí)的層數(shù)越多圖像越清晰與訓(xùn)練的參數(shù)數(shù)量無關(guān),，這就剩下一個可以信服的原因,，深度學(xué)習(xí)每一層所訓(xùn)練的結(jié)果實際獲得的是一組局域最佳解，神經(jīng)網(wǎng)絡(luò)可以用一個傳遞的函數(shù)模型來描述,，可以認(rèn)為每一層訓(xùn)練后的解是比上一層更接近整體最佳解,，所以參數(shù)越接近整體最佳解神經(jīng)網(wǎng)絡(luò)的傳輸率越高圖像就越清晰。因此用這個現(xiàn)象來解釋深度學(xué)習(xí)中間層越多應(yīng)用效果越好不是一個嚴(yán)謹(jǐn)?shù)目茖W(xué)性的解釋方法,。所以包括發(fā)明人Hinton在內(nèi)并沒有人能在數(shù)學(xué)上證明深度學(xué)習(xí)具有突破性應(yīng)用效果的真實機理,。

　　那么，深度學(xué)習(xí)的黑箱問題是怎么回事,？這里所謂的黑箱問題是涉及兩個方面的問題,？一個是深度學(xué)習(xí)的不可分析性，出現(xiàn)問題不能依據(jù)一定的理論進(jìn)行分析,，這是因為深度學(xué)習(xí)屬于函數(shù)映射模型,，映射結(jié)果很難反向推理。對于深度學(xué)習(xí)模型的原理實際上是很清楚的,，至于人們把“深度學(xué)習(xí)”的應(yīng)用效果好的機理作為“天知”,，我們在后面會專題討論。

　　深度學(xué)習(xí)出現(xiàn)黑箱問題的主要原因：其實深度學(xué)習(xí)所訓(xùn)練的機理就是在一個海量的數(shù)據(jù)空間里進(jìn)行組合,，黑箱問題就在于在海量數(shù)據(jù)空間里進(jìn)行窮舉時,，會出現(xiàn)無窮的局域最佳解，其局域最佳解的分布曲線通過數(shù)學(xué)方法無法計算出,，人為的實驗也是目前圖靈機所做不到的,，因此在訓(xùn)練中很可能會出現(xiàn)一個參數(shù)稍微改變輸出結(jié)果會突然崩潰，或者是所訓(xùn)練的結(jié)果并不是按照我們想象的結(jié)果進(jìn)行展開,。在組合空間中所獲得的局域最佳解出現(xiàn)在某一個情況下突然出現(xiàn)令人費解的狀態(tài)是正常的,，我們在通過規(guī)則解決最佳組合的NP問題中經(jīng)常會出這種現(xiàn)象,，往往是通過程序的規(guī)則的不斷堆積來實現(xiàn)，對于深度學(xué)習(xí)要通過重新改變參數(shù),，尋求另一個局域最佳解的方法來解決,。所以只要是知道深度學(xué)習(xí)的訓(xùn)練是數(shù)據(jù)最佳化組合的過程的特點，就不難理解深度學(xué)習(xí)的黑箱問題,。特別是作為概率空間的目標(biāo)函數(shù)的隨機性會引發(fā)黑箱問題的發(fā)生,。再有就是在“深度學(xué)習(xí)”的層與層之間節(jié)點的連接中，為了獲得非線性的分類結(jié)果,，導(dǎo)入了激勵函數(shù)(Activation Function),。這也是引發(fā)黑箱問題發(fā)生的重要隱患。

　　下面的問題就是在模式識別的應(yīng)用上,，是特征向量的質(zhì)量重要,，還是通過學(xué)習(xí)進(jìn)行分類重要？回答很簡單沒有好的特征向量的質(zhì)量再好的深度學(xué)習(xí)也是無濟于事的,，在許多文章中都把深度學(xué)習(xí)可以直接抽取特征量作為深度學(xué)習(xí)的一大特點,。其實深度學(xué)習(xí)在特征映射的方法上簡直是極其傳統(tǒng)的處理方法，而且并沒有考慮圖像信息并不只是灰度信息,，所以深度學(xué)習(xí)在模式識別上的應(yīng)用特點只能停留在大量的學(xué)習(xí)的作用上,，下一代的機器學(xué)習(xí)模型在特征向量抽取質(zhì)量上努力，也一定會產(chǎn)生更好的突出效果,。

　　最后需要搞清的一個重要問題：深度學(xué)習(xí)的應(yīng)用效果好的機理是什么,？為使我們所提出的模型可以超越“深度學(xué)習(xí)”，我們對“深度學(xué)習(xí)”的應(yīng)用效果好的機理做了一些研究,，發(fā)現(xiàn)將目標(biāo)函數(shù)映射到大數(shù)據(jù)集上后,，數(shù)據(jù)分類中的有效距離被擴大了，比如人臉識別,，被認(rèn)為是導(dǎo)入深度學(xué)習(xí)后應(yīng)用效果最明顯的案例,，人臉的位置的特征信息充其量不過幾百個，傳統(tǒng)的模式識別的效果所以不如深度學(xué)習(xí),，這是因為兩個最接近的特征向量的總體距離與概率分布的范圍之間的差是固定的,，但是如果把人臉位置圖像信息通過深度學(xué)習(xí)的函數(shù)映射，大數(shù)據(jù)集可以“放大”幾百個人臉位置特征向量所構(gòu)成的距離,，由于“深度學(xué)習(xí)”模型每增加一個中間層,，復(fù)雜度為Ｏ（ｎｎ）就是一個指數(shù)性的提高,，所以數(shù)據(jù)集的規(guī)模不可能無限增加,，因此我們所提出的的新的模型的復(fù)雜度Ｏ（ｎ2）如果是接近線性的，就一定可以實現(xiàn)超越深度學(xué)習(xí)的數(shù)據(jù)集規(guī)模的特征數(shù)據(jù)集,，就一定可以在應(yīng)用上超越“深度學(xué)習(xí)”的效果,。

　　在“深度學(xué)習(xí)”被神化的高潮中,，欺騙了絕大多數(shù)業(yè)界的專家們的一個問題是：深度學(xué)習(xí)所采用如圖2所示的對損失函數(shù)的SGD評價方法，所得到的的訓(xùn)練結(jié)果是組合理論中的一個局域的最佳解,，這一點深度學(xué)習(xí)的研究者在當(dāng)時并不理解,，其實這么一個高次的組合空間不可能只有一個局域的最佳解。

　　圖2 隨機梯度下降法SDG示意圖

　　其實如圖3所示,，深度學(xué)習(xí)的訓(xùn)練存在著復(fù)數(shù)個局域最佳解的事實,，20多年前已經(jīng)被一些例如Hopfild等的早期人工智能科學(xué)家所認(rèn)識，力圖用組合理論的最短路徑訪問的方法進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,，

　　圖3 Hopfild的聯(lián)想記憶與最佳組合理論示意圖

　　遺憾的是神經(jīng)網(wǎng)絡(luò)的組合空間規(guī)模之大,，屬于圖靈機不可解的NP問題，所以這些科學(xué)家的努力沒能成功,，可是清楚的告訴我們后人傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是走不下去的,。

　　針對深度學(xué)習(xí)存在的上述問題，超深度學(xué)習(xí)一舉將深度學(xué)習(xí)所存在的所有問題全部給予解決,。超深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)就是公式1所示的一個基于概率尺度的自組織的機器學(xué)習(xí)算法,。

　　公式1

　　這里，給定一個屬于集合G的一組隨機分布的數(shù)值pi (i=1,2,…,m),，某一集合Gn-1中必然存在一個最大概率值A(chǔ)n-1,，以及可以標(biāo)定最大概率空間的尺度Mn-1，如果把最大概率空間看成是新的一集合Gn,，就可以通過迭代,，獲得最終可以超越統(tǒng)計學(xué)公式化的解，為了區(qū)別于傳統(tǒng)的統(tǒng)計學(xué)的結(jié)果,，我們可以把An-1稱為最大幾率值,，把Mn-1，稱為最大幾率空間的尺度,。這就是概率尺度自組織的模型,。

　　概率尺度自組織在圖像識別中，可以從一個小區(qū)域的若干個像素灰度值通過概率尺度自組織得到一個最大幾率值,，用于表達(dá)該區(qū)域的圖像特征,。概率尺度自組織還具有遷移特性，可以自律的朝著大概率的方向遷移,，當(dāng)圖像移位時可以自動的遷移,，這是傳統(tǒng)模式識別所做不到的。

　　圖4是概率尺度自組織具有向大概率方向遷移的特性,。 如圖4所示,，概率尺度自組織在給定的任何地方，只要是初步滿足一定條件,，通過迭代就可以自律的朝著大概率的方向遷移,，中間遇到小概率的擾動,，也可以跨越小概率的阻擋最終落在大概率的位置上。

　　圖4 概率尺度自組織具有向大概率方向遷移的特性示意圖

　　在自動駕駛的車道線識別與障礙物的3D識別的應(yīng)用中,，還可以驗證概率尺度自組織可以無訓(xùn)練的將圖像中最大概率分布的目標(biāo)圖像直接識別出,，還可以按照圖像中的各個最大概率的分布狀態(tài)進(jìn)行特征抽出，可以得到結(jié)構(gòu)化的特征信息抽出結(jié)果,，從而實現(xiàn)圖像理解的識別效果,。

　　例如圖5所示進(jìn)行人臉識別時可以自動的尋找到概率分布最集中的人的臉部。傳統(tǒng)的摸著石頭過河的程序搜索方法存在一個嚴(yán)重的問題是需要對人臉膚色的事先定義,，這樣不同膚色在程序規(guī)則上就要調(diào)整,，需要大量的程序進(jìn)行規(guī)則堆積，嚴(yán)重影響人臉識別精度的提高,，采用概率尺度自組織按照人臉圖像的顏色分布,，在整個圖像中是最大的概率，可以直接通過概率尺度自組織的遷移特性直接獲得人臉位置,。

　　圖5 用概率尺度自組織的遷移特性獲得人臉位置示意圖

　　概率尺度自組織的遷移軌跡,，以及最終的結(jié)果需要嚴(yán)格的對應(yīng)數(shù)據(jù)空間，用一維的概率尺度衡量二維空間的數(shù)據(jù)就會產(chǎn)生錯誤的結(jié)果,。另外概率尺度自組織的解也符合最佳化解的特性,，遷移路徑與結(jié)果具有一定的邊界條件。

　　在模式識別中需要計算樣本數(shù)據(jù)與學(xué)習(xí)后登錄數(shù)據(jù)之間的距離,，我們在實際大量應(yīng)用中所接觸的數(shù)據(jù)證明概率空間一定是存在于歐幾里得空間的,，也就是說在歐幾里德空間存在著無數(shù)個概率空間，因此如何找到一個跨越歐幾里得空間與概率空間的距離是提高模式識別的關(guān)鍵,。這里我們提出了公式2的概率空間的距離的定義方法,，設(shè)與是兩個集合的要素，與分別是集合要素與的復(fù)數(shù)個學(xué)習(xí)數(shù)據(jù),，通過多次的概率尺度自組織機器學(xué)習(xí)所得到的最大幾率空間的尺度,，則從的概率空間到（j=1,2,…,n）的概率空間的跨越歐幾里得空間與概率空間的距離G可定義如下：

　　公式2

　　公式2雖然是定義出來的，但是可以嚴(yán)格證明其正確性,，因為概率空間是測度等于1的空間,，在概率空間中的距離誤差是概率密度，也可以證明最大幾率空間尺度就是概率密度的近似值,。

　　下面具體介紹超深度學(xué)習(xí)的架構(gòu),，超深度學(xué)習(xí)與普通的深度學(xué)習(xí)最大的不同是，傳統(tǒng)的深度學(xué)習(xí)是通過層與層之間的復(fù)雜連接關(guān)系產(chǎn)生海量數(shù)據(jù),，這種人為的將問題復(fù)雜化恐怕是典型學(xué)界的做法,，這種做法可以引起眾多的學(xué)者們的興趣，是起到推動人工智能在理論上的完善必不可少的過程,，幾乎科學(xué)技術(shù)的發(fā)展都需要這個過程,，當(dāng)發(fā)展到一定程度時，必定有人出來從另一條路出發(fā)將多年積累的理論顛覆,，產(chǎn)生可以實際應(yīng)用的新理論,。人工智能也一定要走這一道路。超深度學(xué)習(xí)就是拋磚引玉引發(fā)新一代人工智能創(chuàng)出的理論之一,，同深度學(xué)習(xí)不同的是超深度學(xué)習(xí)是概率模型,，可直接對數(shù)據(jù)進(jìn)行概率尺度自組織機器學(xué)習(xí)，可以定量的對輸入的隨機分布信息進(jìn)行分析,，對數(shù)據(jù)進(jìn)行分類,，沉淀深層信息，最終產(chǎn)生定量化的識別與分類,，使傳統(tǒng)的系統(tǒng)只有通過實際數(shù)據(jù)的驗證才可以知道識別精度與數(shù)據(jù)分類精度,，成為識別結(jié)果的精度可計算性的系統(tǒng)，從而使模式識別與數(shù)據(jù)分類進(jìn)入一個嶄新的時代,。

　　超深度學(xué)習(xí)始終基于最大概率尺度的自組織,，所以是一個新的無監(jiān)督學(xué)習(xí)模型，無需海量數(shù)據(jù)來承載目標(biāo)函數(shù)的信息,，是對具有隨機特性的輸入數(shù)據(jù)的直接學(xué)習(xí),，可以產(chǎn)生非常高效率的處理效果，無需巨大的硬件支持,，一個最低的硬件配置就完全可以實現(xiàn)各種的人工智能的應(yīng)用,，可做到的最佳分類，最佳的模式識別處理結(jié)果,。

　　圖6 超深度學(xué)習(xí)架構(gòu)示意圖

　　超深度學(xué)習(xí)如圖6所示,；超深度學(xué)習(xí)的每一個功能單元是由輸入層，腦神經(jīng)層,，以及腦皮層組成的新型神經(jīng)網(wǎng)絡(luò),。在輸入層與腦神經(jīng)層之間的節(jié)點與節(jié)點之間直接連接著大量的概率尺度的自組織機器學(xué)習(xí)，構(gòu)成了分散機器學(xué)習(xí)處理系統(tǒng),。

　　在超深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的層數(shù)是與大腦一致,，在圖像識別時，提取的是圖像最大概率的特征值,，判斷每一個特征值是否屬于某個已登陸的特征向量,，是以最大幾率空間的尺度為依據(jù)，相當(dāng)于最大幾率空間的尺度是一個神經(jīng)元的閥值,，所對應(yīng)的腦神經(jīng)層的節(jié)點就產(chǎn)生一個腦神經(jīng)信號輸入到腦皮層,，以最大幾率空間的尺度為基準(zhǔn)值刺激腦皮層，腦皮層被刺激的信號越多越興奮,，依據(jù)腦皮層的興奮程度決定是否為目標(biāo)函數(shù)信息,，這豈不是與大腦的機理非常接近嗎,？最大幾率空間的尺度就相當(dāng)于腦神經(jīng)的閥值，并不是深度學(xué)習(xí)中人為定義的參數(shù),，因此大腦機理應(yīng)該建立在概率空間的模型上,，通過超深度學(xué)習(xí)的架構(gòu)終于搞清楚了，這也是通過算法仿真生物神經(jīng)的機理的一個重要的成果,。

　　圖7 在如何深入上超深度學(xué)習(xí)與深度學(xué)習(xí)的比較

　　下面讀者會問超深度學(xué)習(xí)只有三層如何深入,，當(dāng)今的潮流是大模型，大數(shù)據(jù),，大硬件構(gòu)成的大系統(tǒng)是主流,。如圖7所示；深度學(xué)習(xí)是靠大量的增加層數(shù),，由于復(fù)雜度是指數(shù)性的,，其結(jié)果使系統(tǒng)很快就超負(fù)荷了。超深度學(xué)習(xí)是按照導(dǎo)入解決復(fù)雜系統(tǒng)問題的空間映射原理,，可以把任何的復(fù)雜系統(tǒng)的目標(biāo)函數(shù)映射到任意多的子空間,，針對每一個子空間的目標(biāo)函數(shù)的信息用增加輸入層的節(jié)點的方法進(jìn)行深入，這使超深度學(xué)習(xí)可以把目標(biāo)函數(shù)的處理無限的深入下去,，卻不增加系統(tǒng)的復(fù)雜度Ｏ（ｎ２）,。利用這個特點可以無限的增加特征數(shù)據(jù)集的規(guī)模，深度學(xué)習(xí)的數(shù)據(jù)集只能幾百萬個,，而超深度學(xué)習(xí)可以達(dá)到數(shù)萬以至數(shù)億個以上,，隨著系統(tǒng)應(yīng)用的需要可以無限的增加機器學(xué)習(xí)的數(shù)量，可以預(yù)測今后的人工智能系統(tǒng)用的能力指標(biāo)將以有多少個機器學(xué)習(xí)來計算,。50年來的計算機由簡單的門電路組成發(fā)展至今原理沒有任何變化,，使用的門電路的規(guī)模卻發(fā)生了巨大的變化，計算機的性能也出現(xiàn)了驚人的提高,，相信未來的人工智能系統(tǒng)由眾多的機器學(xué)習(xí)組成的,，其能力不管如何過高的估計也不會過分。

　　再有在目標(biāo)函數(shù)概率分布模型的優(yōu)勢上,，通過小數(shù)據(jù)的訓(xùn)練可以獲得目標(biāo)函數(shù)的概率分布,，可以相當(dāng)于無窮的函數(shù)映射的效果。這也是深度學(xué)習(xí)所望塵莫及的,。由于超深度學(xué)習(xí)可以構(gòu)造比深度學(xué)習(xí)還大規(guī)模的分散機器學(xué)習(xí)模型,，可以通過小數(shù)據(jù)的訓(xùn)練獲得超過深度學(xué)習(xí)的還要大規(guī)模的特征數(shù)據(jù)集，以及無限多的機器學(xué)習(xí)所構(gòu)成的大的分散處理硬件系統(tǒng),，因此超深度學(xué)習(xí)更加適應(yīng)時代潮流,。

　　將任意一個圖像通過手機拍照后，通過超深度學(xué)習(xí)變換成一個

　　1036的代碼，導(dǎo)入了超深度學(xué)習(xí)無需通過噴印標(biāo)記的方式構(gòu)成光學(xué)可讀性二維碼,，而是靠圖像的灰度的自然分布,，自組織成一個二維碼，也就是說可以通過手機拍攝商品標(biāo)識,，直接生成一個可以連接網(wǎng)絡(luò)的二維碼,，讓全世界的商品一夜之間就可連接網(wǎng)絡(luò)。

　　超深度學(xué)習(xí)的實際應(yīng)用的例子之一是如圖8所示,；

　　圖8超深度學(xué)習(xí)實現(xiàn)圖像變換代碼的例子

　　超深度學(xué)習(xí)的圖像直接生成代碼，是對市場流行的開源程序AR圖像識別技術(shù)的顛覆,，AR技術(shù)是通過傳統(tǒng)的圖像輪廓識別,，產(chǎn)生一個將近10兆字節(jié)識別結(jié)果的文件，由于識別結(jié)果所占用的容量,，遠(yuǎn)比圖像本身的容量要大,，所以一般識別引擎是放到網(wǎng)絡(luò)服務(wù)器上，用手機將被識別的圖像送到網(wǎng)上,，網(wǎng)絡(luò)服務(wù)器識別圖像后將網(wǎng)絡(luò)下載的結(jié)果送回手機,，這樣的應(yīng)用如果網(wǎng)絡(luò)環(huán)境差，就得不到很好的用戶體驗,。超深度學(xué)習(xí)克服了由于手機在不同情況下拍攝的圖像所產(chǎn)生的非常大的隨機分布信息,，通過概率尺度的自組織變換成一個穩(wěn)定的代碼，這個代碼不到十個字節(jié),，可以把識別引擎放到手機上做在線圖像變換代碼的應(yīng)用,。

　　超深度學(xué)習(xí)與深度學(xué)習(xí)在機理上的比較表1.

　　超深度學(xué)習(xí)與普通的深度學(xué)習(xí)的對比如表１所示;首先從方法上進(jìn)行比較：

　　深度學(xué)習(xí)是在歐幾里得空間里訓(xùn)練出海量的參數(shù)，用海量的參數(shù)承載目標(biāo)函數(shù)的信息,，超深度學(xué)習(xí)是直接針對輸入的隨機分布數(shù)據(jù)進(jìn)行概率空間的自組織機器學(xué)習(xí),，將隨機分布的數(shù)據(jù)進(jìn)行去偽存真的處理，得出定量的并且穩(wěn)定的最大概率的解,，以及可以提煉出深層的信息,。

　　在前面已經(jīng)討論了，深度學(xué)習(xí)是將目標(biāo)函數(shù)映射到數(shù)據(jù)集的模型,，因此面對具有隨機特性的數(shù)據(jù),，需要數(shù)百萬次的訓(xùn)練，需要付出巨大的數(shù)據(jù)標(biāo)注費用,。超深度學(xué)習(xí)是概率模型,，通過概率分布信息可以將小數(shù)據(jù)的訓(xùn)練生成具有無限映射效果的概率分布。

　　在計算復(fù)雜度上兩種模型具有截然不同的區(qū)別,，因此在硬件開銷上差距很大,，在相同硬件環(huán)境下，超深度學(xué)習(xí)具有超越深度學(xué)習(xí)的應(yīng)用效果是不可置疑的。

　　深度學(xué)習(xí)是把概率空間的數(shù)據(jù)映射到歐幾里得空間的,，所以要對概率空間的隨機數(shù)據(jù)進(jìn)行全部的訓(xùn)練,，致使應(yīng)用成本巨大不易普及。

　　特別是深度學(xué)習(xí)的應(yīng)用效果是靠數(shù)據(jù)集的規(guī)模所產(chǎn)生的,，超深度學(xué)習(xí)不僅在概率模型上優(yōu)于深度學(xué)習(xí),，在特征集的規(guī)模上同樣可以超越深度學(xué)習(xí)的數(shù)據(jù)規(guī)模，因此超深度學(xué)習(xí)在應(yīng)用效果上超越深度學(xué)習(xí)是名副其實的,。

　　超深度學(xué)習(xí)與深度學(xué)習(xí)在應(yīng)用效果上的比較表2.

　　如表2所示,；在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上深度學(xué)習(xí)是數(shù)十層乃至數(shù)百層，這樣就使問題的復(fù)雜度急劇擴大,，造成組合的空間無窮的大,，導(dǎo)致不可能得到最佳組合的解，因此出現(xiàn)黑箱問題等,，超深度學(xué)習(xí)同大腦的構(gòu)造近似,，只有輸入層，腦神經(jīng)層,，以及腦皮層三層,，而且數(shù)學(xué)模型很接近大腦的機理，證明超深度學(xué)習(xí)符合大腦的機理,。

　　再有,，在模型能力擴大的方法上深度學(xué)習(xí)是靠增加隱藏層的數(shù)量來實現(xiàn)的！超深度學(xué)習(xí)是靠增加輸入層的節(jié)點的個數(shù),，通過將復(fù)雜系統(tǒng)空間的映射,，把目標(biāo)函數(shù)變換成若干子空間，并把子空間的特征分量對應(yīng)輸入層的各個節(jié)點,，通過擴大節(jié)點的個數(shù)達(dá)到深入學(xué)習(xí)的目的,。

　　下面準(zhǔn)備介紹一下我和我的團隊正在進(jìn)行的超深度學(xué)習(xí)視覺芯片的開發(fā)情況。

　　圖9是超深度學(xué)習(xí)視覺芯片的構(gòu)成,，這個項目是同由日立,，NEC以及三菱電機，三個公司的半導(dǎo)體事業(yè)部剝離組建的日本最大的芯片公司RENESAS公司聯(lián)合開發(fā)的,，采用硬件加軟件的形式,。對于非常占用處理時間的顏色變換，以及為盡可能獲取圖像的本來信息,，針對圖像的空間映射等采用硬件處理,，算法用軟件處理。超深度學(xué)習(xí)獨特的兩種對抗學(xué)習(xí)以及無監(jiān)督學(xué)習(xí)的算法均在這一款芯片里搭載,，因此,，可以使這一芯片在圖像感知方面做到傳統(tǒng)的算法無可比擬的天衣無縫的精度與應(yīng)用效果。

　　圖9超深度學(xué)習(xí)視覺芯片的構(gòu)成

　　我們的超深度學(xué)習(xí)的研發(fā)戰(zhàn)略是，首先從算法上布局,，既然已經(jīng)證實,，導(dǎo)入超深度學(xué)習(xí)可以顛覆傳統(tǒng)的統(tǒng)計學(xué)的兩大參數(shù)，那么與這兩大參數(shù)有關(guān)的相關(guān)分析,，回歸分析等等大量的統(tǒng)計學(xué)的數(shù)學(xué)模型,，將成為超深度學(xué)習(xí)的重要架構(gòu)，這些成果可以分別通過論文的形式發(fā)表,。同時將深度學(xué)習(xí)理論作為一個鏡子,，逐一的將深度學(xué)習(xí)的一些特殊的算法在超深度學(xué)習(xí)上實現(xiàn)，在應(yīng)用上從圖像感知,，語音感知到預(yù)測推論等的應(yīng)用可視化,，在推廣上從提供SDK程序，SDL應(yīng)用電路板,，SDL芯片以及開源平臺,，聯(lián)合開發(fā)等等分別進(jìn)行,，我們是原創(chuàng)單位因此不同我們的用戶競爭,，我們的角色是技術(shù)提供與服務(wù)，以及基礎(chǔ)性開發(fā),，因此不獨立的進(jìn)行具體項目的開發(fā),，可以為從事AI事業(yè)的創(chuàng)業(yè)公司進(jìn)行技術(shù)合作以及技術(shù)入股。

　　作為我們奉獻(xiàn)社會的超深度學(xué)習(xí),，由于不是通過組合方式訓(xùn)練海量的參數(shù)的,，是直接對隨機分量的數(shù)據(jù)進(jìn)行概率自組織的學(xué)習(xí)，因此不存在黑箱問題,。而且,，最大的特點是硬件要求門檻極低，普通一個芯片,，任何一個移動終端都可以立即應(yīng)用,。超深度學(xué)習(xí)的基礎(chǔ)理論概念清楚，算法簡單易懂,，是可以大量普及的一個為大眾服務(wù)的AI算法,。人工智能是國家戰(zhàn)略，自動駕駛汽車是反映人工智能的國家水平的標(biāo)準(zhǔn),。為了證明超深度學(xué)習(xí)的能力,，我們在社會的廣泛支持下，正在自動駕駛汽車的開發(fā)上驗證超深度學(xué)習(xí)的應(yīng)用效果,。目前所有的自動駕駛研發(fā)團隊,，都因為控制過于復(fù)雜沒有現(xiàn)成的人工智能模型的支持，而處于停滯不前的現(xiàn)狀。我們寄托超深度學(xué)習(xí)可以沖破自動駕駛的難關(guān),，使L4級別的自動駕駛不再是偽命題,。

　　我是中國人，我愿意將我發(fā)明的超深度學(xué)習(xí)在中國產(chǎn)業(yè)化,，為中國及世界的人工智能發(fā)展服務(wù),。我現(xiàn)在是中國軟件行業(yè)協(xié)會嵌入式系統(tǒng)分會和中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的理事、擔(dān)任著中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟新一代人工智能專業(yè)委員會主任職務(wù),。為促進(jìn)超深度學(xué)習(xí)在中國的產(chǎn)業(yè)化,，我已將超深度學(xué)習(xí)的宣傳和產(chǎn)業(yè)化的代理授權(quán)給中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的負(fù)責(zé)人。希望通過中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的積極組織,，加快進(jìn)行超深度學(xué)習(xí)的產(chǎn)業(yè)化工作,。我衷心的希望國家有關(guān)部門和相關(guān)的企事業(yè)單位大力支持超深度學(xué)習(xí)的產(chǎn)業(yè)化。歡迎從事人工智能的研究和應(yīng)用的單位及專家,、學(xué)者,、技術(shù)人員加入到超深度學(xué)習(xí)的研究與推廣隊伍中來，共同為早日實現(xiàn)超深度學(xué)習(xí)的產(chǎn)業(yè)化做努力,！