近兩年,，區(qū)塊鏈概念成為全社會的熱點(diǎn)話題,，但大部分人更多關(guān)注的是比特幣、以太坊等加密數(shù)字貨幣,，忽視了區(qū)塊鏈技術(shù)本身。而區(qū)塊鏈技術(shù),，離不開數(shù)學(xué)。

　　12月17日-18日，區(qū)塊鏈數(shù)學(xué)科學(xué)會議在北京召開,。本次會議為數(shù)學(xué)家、密碼學(xué)家,、計(jì)算機(jī)學(xué)家,、經(jīng)濟(jì)學(xué)家等各領(lǐng)域?qū)＜姨峁┮粋€(gè)學(xué)術(shù)交流平臺，希望在初期階段,，專注于探索拆解現(xiàn)有的區(qū)塊鏈數(shù)學(xué)的范式,，組合區(qū)塊鏈技術(shù)的數(shù)學(xué)工具，并且通過類比,、分析,、歸納等方式，提出“區(qū)塊鏈數(shù)學(xué)猜想”,。

　　計(jì)算科學(xué)家,、中科院院士張鈸在題為“走向可解釋與魯棒的人工智能”的演講中表示：

　　“當(dāng)前人工智能方法存在局限性，只能在具有充分知識或數(shù)據(jù),、穩(wěn)定性,、完全信息、靜態(tài),、特定領(lǐng)域與單任務(wù)的場景下適用,。數(shù)據(jù)驅(qū)動的本質(zhì)缺陷在于只能學(xué)習(xí)重復(fù)出現(xiàn)的片段，不能學(xué)習(xí)具有語義的特征,。因此,，后深度學(xué)習(xí)時(shí)代將知識驅(qū)動與數(shù)據(jù)驅(qū)動結(jié)合，走向真正的人工智能,?！?/p>

　　大家好，我今天演講的主題是“走向可解釋與魯棒的人工智能”,。我非常的贊成需要不同學(xué)科的碰撞,，才能產(chǎn)生新的成果。1956年,，人工智能（Artificial Intelligence）誕生于美國,，被定義為“研究與設(shè)計(jì)智能體（Intelligent Agents）”。

　　這個(gè)定義中,，用了研究和設(shè)計(jì)兩個(gè)詞來形容這個(gè)領(lǐng)域,，就說明這個(gè)領(lǐng)域既是科學(xué)也是工程。所以，人工智能不僅要關(guān)注科學(xué)的部分,，也要關(guān)注技術(shù)和應(yīng)用的部分,。另外就是智能體，或被稱為“智能機(jī)器”,，智能機(jī)器指的是能夠感知環(huán)境,，經(jīng)思考后采取行動使成功機(jī)會最大化的系統(tǒng)。但是人工智能很難說是一個(gè)機(jī)器,，也很難說它是一個(gè)系統(tǒng),，所以特別發(fā)明了一個(gè)詞叫Agent，我這里的翻譯是叫做智能體,。

　　人工智能就做三件事：感知,、思考決策和動作。第一件事兒就是要模擬人類的理性行為,，就是中間那部分,，內(nèi)容理性行為，我們要用計(jì)算機(jī)來模擬它,。另外就是感性,、感知，聽覺,、視覺等等,，最后是動作。

　　人工智能的現(xiàn)狀和符號模型

　　我們可以把人工智能分成兩個(gè)階段：1956年至2000年,，傳統(tǒng)AI的階段,；2000年至2015年，深度學(xué)習(xí)的階段,。

　　首先在人工智能建立初始,，就對人類的智能行為提出一個(gè)模型，這個(gè)模型叫做基于知識和經(jīng)驗(yàn)的物理符號推理模型,。也就是說,，當(dāng)時(shí)認(rèn)為人類的說話認(rèn)知包括了感性和理性都可以用這個(gè)模型來模擬，目前看來事實(shí)證明,，這種模擬只能模擬理性行為,，理性行為就利用基于知識和經(jīng)驗(yàn)的推理模型來構(gòu)造。

　　人的理性行為基礎(chǔ)是兩個(gè)：知識,、經(jīng)驗(yàn)和推理能力,。如果能夠把人類的知識和經(jīng)驗(yàn)放在計(jì)算機(jī)的知識庫里面，我們能把推理能力表現(xiàn)在它的推理機(jī)制里面,，我們就可以做出來模仿人類理性行為的系統(tǒng)或者是人工智能系統(tǒng),。

　　大家看起來很簡單,，如果我們能夠把醫(yī)生看病的知識和臨床經(jīng)驗(yàn)放在知識庫里面，把診斷的過程變成一個(gè)推理過程,，放在機(jī)制里面,，這個(gè)系統(tǒng)就能看病，確實(shí)在70,、80年代的時(shí)候，美國,、中國都做過類似的醫(yī)療診斷系統(tǒng),，用的就是它。

　　但是,，這里要說一點(diǎn),，這些知識和經(jīng)驗(yàn)都是通過人工編制，輸入到計(jì)算機(jī)里面去,，這是它嚴(yán)重的問題,。

　　另外也是當(dāng)時(shí)提出來的另外一個(gè)模型，所謂大家現(xiàn)在講的人工神經(jīng)網(wǎng)絡(luò),、機(jī)器學(xué)習(xí)也好,，就是這個(gè)模型。這個(gè)模型是用來模仿人的感知的,。大家想想,，感性的知識來自何處？不是來自于知識,，不是人家教你的,，來自于觀察。所以,，把人類通過觀察學(xué)習(xí)的這種過程用一個(gè)神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)來模仿,，現(xiàn)在所有的圖象識別、語音識別都是用的這個(gè)模型,。

　　傳統(tǒng)模型的優(yōu)缺點(diǎn)

　　這里的問題在于,，特征的輸入是人工輸入的，人工選擇的特征輸入,，這個(gè)是傳統(tǒng)人工智能的一個(gè)最大的缺陷,，所以后來為什么會出現(xiàn)人工智能的冬天。就是因?yàn)橛萌斯さ姆椒▉磔斎胩卣鱽碇v這是很困難的,，有的時(shí)候還做不到,。比如說人類的知識和經(jīng)驗(yàn)?zāi)銦o法描述，所以這就使得人工智能很難做出來一個(gè)實(shí)用的系統(tǒng),，后來就變成大家對它不寄予很大的希望,，只能在玩具世界或者是在實(shí)驗(yàn)室里做一點(diǎn)兒系統(tǒng),，做出來的實(shí)用系統(tǒng)是很難的。

　　當(dāng)時(shí)美國為了做一個(gè)醫(yī)療診斷系統(tǒng),，結(jié)果花了六年的時(shí)間才把專家的知識放到計(jì)算機(jī)里面去,，而且這個(gè)系統(tǒng)后來還沒有用上。

　　這個(gè)系統(tǒng)的優(yōu)點(diǎn)就是說它跟人類的系統(tǒng)是一樣的,，所以可理解,、可解釋，而且魯棒性也比較強(qiáng),。缺點(diǎn)就是剛才說的手邊知識,，需要來自專家的知識，是昂貴的,、難以推廣的,。

　　深度學(xué)習(xí)時(shí)代

　　這個(gè)事情有重要的變化，就是深度學(xué)習(xí),。這個(gè)深度學(xué)習(xí)大家知道,，實(shí)際上只是把神經(jīng)網(wǎng)絡(luò)這個(gè)層次增加了，原來只有1層,，變成2層以上,，把機(jī)器學(xué)習(xí)起了一個(gè)根本性的改變，這個(gè)是大家沒想到的,、出乎大家意料的,。這個(gè)根本性的改變在于輸入不需要人工選擇特征，而是原始數(shù)據(jù),。

　　這是什么意思呢,？你用這個(gè)工具的時(shí)候，不需要專業(yè)知識,，過去要搞人臉識別,，你必須要搞清楚人臉識別是根據(jù)什么特征來識別的。因此,，做過十年人臉識別的人跟剛剛進(jìn)入做人臉識別的人,，他的經(jīng)驗(yàn)要多得多，你沒有這方面的經(jīng)驗(yàn),，你要從頭做起,。

　　但是現(xiàn)在不一樣了，你做了十年的人臉識別跟剛剛進(jìn)去的人臉識別,，大家是一個(gè)起跑線上的,，因?yàn)橹灰阌袛?shù)據(jù)，我就不知道他是什么特征,，機(jī)器自動學(xué)習(xí),。所以,，這個(gè)問題就變成了深度學(xué)習(xí)完全改變原來模型的性質(zhì)，變成了一個(gè)通用的工具,，它通用,，就等于說人臉識別學(xué)人臉識別，你做大數(shù)據(jù)的學(xué)金融,，只要把原始數(shù)據(jù)輸進(jìn)去就可以了,，不需要太多金融的知識。

　　所以,，人工神經(jīng)網(wǎng)絡(luò)的性質(zhì)發(fā)生了變化,，從單純的函數(shù)映射到表示學(xué)習(xí)，就自動學(xué)習(xí)表示方法,。這就是我們現(xiàn)在深度學(xué)習(xí)廣泛傳播大量應(yīng)用的一個(gè)重要原因，誰拿去都可以用,。但是這個(gè)問題大概三,、四年前大家也發(fā)現(xiàn)了，大家以為是很完美的工具,，其實(shí)現(xiàn)在發(fā)現(xiàn)這是一個(gè)非常不完美的工具,。

　　自然語音識別模型

　　深度學(xué)習(xí)的影響有大？我們原來搞語音識別的時(shí)候,，必須人工選擇特征,，這個(gè)特征一經(jīng)過處理以后非常復(fù)雜，用的模型是這個(gè)模型,，用的特征是倒拼圖推進(jìn),，一會兒要把語音變成拼圖，拼圖又返回去積分,，后來都不知道變成什么樣子了?，F(xiàn)在不一樣了，有了深度學(xué)習(xí),，原始的拼圖,、原始的波形，輸進(jìn)去就可以了,。

　　這個(gè)改變是非常本質(zhì)的,，就是說2001年用這種模型，以前用這種模型,，基本上只能達(dá)到80%,，幾乎不能用，現(xiàn)在已經(jīng)變成了商品,，所有的商品都是用的深度模型,，識別率是一般的95%或者是更高,，有的還可以新增，比人類的還好一點(diǎn)兒,。這個(gè)問題就是一步的變化,，從原來的模型變成一個(gè)深度模型，把層數(shù)增加,。

　　當(dāng)前人工智能方法的局限性

　　當(dāng)前人工智能方法的局限性在于只適用于以下場景：

　　具有充分知識（能清楚表述的問題）或數(shù)據(jù) ·確定性 ·完全信息 ·靜態(tài)（按確定規(guī)則演化） ·特定領(lǐng)域（領(lǐng)域邊界清晰）與單任務(wù)

　　這些不用解釋了,，大家一看就明白，我只解釋一個(gè)完全信息,。大家看一下,，現(xiàn)在AlphaGo，過去的深藍(lán),，為什么做得這么成功,？就是因?yàn)檫@個(gè)棋是完全信息博弈，如果是完全信息的話,，對于計(jì)算機(jī)來講是極為容易的,，絕對是會超過人類的。所以,，圍棋,、象棋最終機(jī)器是會超過人類的，只是時(shí)間問題,。

　　但是如果你這個(gè)變成不完全信息,，比如說像牌類，現(xiàn)在不管是四人橋牌也好,，四人麻將也好,，計(jì)算機(jī)根本不是人類的對手，原因就在于不完全信息,。對決策也是一樣,，如果你的決策是完全信息決策，是完全信息決策,，機(jī)器絕對會超過人,。但是如果你是不完全信息決策，那計(jì)算機(jī)跟人類相比還差得遠(yuǎn),。但是很不幸,，所有的決策場景都是不完全信息，實(shí)際的決策場景都是人的,。

　　這里還有確定性,、靜態(tài)演化、特定領(lǐng)域,、限定領(lǐng)域,，如果領(lǐng)域不限定,，那這個(gè)是不行的。

　　基于深度學(xué)習(xí)的識別系統(tǒng)與人類感知

　　還應(yīng)該看到應(yīng)用深度學(xué)習(xí)或者是大數(shù)據(jù)建立系統(tǒng),，有非常大的缺點(diǎn),，跟人類的認(rèn)知完全不是一碼事。

　　這里面的例子很多,，就是我題目里面講的兩個(gè)缺點(diǎn)：不可解釋性（最大的缺點(diǎn)）和魯棒性很差,，非常脆弱,。

　　犯大錯(cuò)與不可解釋性

　　我舉一個(gè)很簡單的例子,。物體識別系統(tǒng)，你可以做得識別率甚至超過人,，計(jì)算機(jī)目前來講在給定的圖像架構(gòu)下,，它的識別率是可以超過人的,。就是這樣的系統(tǒng)，你給它一個(gè)噪聲,，可以識別成為知更鳥,。你再隨便給它一個(gè)噪聲，你可以制造一個(gè)噪聲,，讓它識別為獵豹。

　　換句話說,，這個(gè)系統(tǒng)我們所謂的模式識別系統(tǒng),，不是人類的感知，只是一個(gè)機(jī)械的分類器,，它能夠把知更鳥和獵豹區(qū)分開來,，但是它絕對不認(rèn)識什么是獵豹，什么是知更鳥,。也就是說它只達(dá)到了低等動物的水平,，而不是人類的水平。

　　魯棒性差

　　這個(gè)是我們的博士生做的,，這個(gè)是阿爾卑斯山,，計(jì)算機(jī)看起來是阿爾卑斯山，人看起來也是阿爾卑斯山,。

　　我們只要給它一點(diǎn)點(diǎn)噪聲,，這張圖的阿爾卑斯山和這張圖的唯一區(qū)別，就是噪聲多一點(diǎn)兒,，人類看起來當(dāng)然是阿爾卑斯山,，計(jì)算機(jī)看起來是一條狗，而且我們可以讓它的自信度達(dá)到99.99%,，它99.99%的把握認(rèn)為它是一條狗,。

　　數(shù)據(jù)驅(qū)動的本質(zhì)缺陷是只能學(xué)習(xí)重復(fù)出現(xiàn)的片段,，不能學(xué)習(xí)具有語義的特征。這就是今天大家在大量討論的人工智能的安全性問題,，聯(lián)合國也要討論這個(gè)問題,，這個(gè)是由這個(gè)引起的，不是說要做出來人工智能超過人,，這是有危險(xiǎn)的,。不是，這個(gè)危險(xiǎn)在于系統(tǒng)極端的脆弱性,。

　　所以,，你無論說什么樣的系統(tǒng)，用這種辦法做出來,，就非常容易被攻擊,。正是大家利用這個(gè)攻擊的手段，現(xiàn)在造成了各種各樣的很多人工智能系統(tǒng)癱瘓,。不僅僅使你癱瘓,，現(xiàn)在還有一種攻擊方法，能讓你去干別的事,。所以,，這就是人工智能的危險(xiǎn)性，是在這里,。

　　這個(gè)問題的嚴(yán)重性還在于,，實(shí)際上這個(gè)是它的本質(zhì)引起的，不是因?yàn)槲覀兙幊虥]編好或者是我們沒考慮到,，不是的,，是完全由本質(zhì)引起的，就是深度學(xué)習(xí),、大數(shù)據(jù),。

　　我們要知道，我們現(xiàn)在講的大數(shù)據(jù)和以前說的大數(shù)據(jù)不是一碼事,，我們現(xiàn)在指的大數(shù)據(jù)是網(wǎng)絡(luò)上那些低質(zhì)量的大量數(shù)據(jù),，這叫做深數(shù)據(jù)，這才是我們關(guān)注的,。網(wǎng)絡(luò)上的數(shù)據(jù)盡管非常多,，但是大量是低質(zhì)量的，造謠,、造假,，有很多的。你用一個(gè)質(zhì)量很低的數(shù)據(jù)，用概率統(tǒng)計(jì)方法來學(xué)習(xí),，能學(xué)出什么東西來呢,？只能學(xué)出那些重復(fù)出現(xiàn)的片斷，不可能學(xué)出來有語義特征的部分,。

　　這是跟人類完全不一樣的結(jié)果,。人類怎么認(rèn)識牛和馬呢？他能夠看到它的馬頭,、馬尾巴,、軀干，計(jì)算機(jī)看不到,，只能看到那些非常低層次的紋理,、線條，用這個(gè)來區(qū)別普通物體,。

　　我們看一下這個(gè),，深度學(xué)習(xí)學(xué)出來的都是這個(gè)，利用這個(gè)來區(qū)別什么是牛,、什么是馬,。這種情況如果用到?jīng)Q策是絕對不允許的，我們用到模式識別還馬馬虎虎,。也就是說它跟人類的不同在什么地方呢,？人類也許把騾看成驢，但是計(jì)算機(jī)完全可以把看成一頭驢,，也就是它會犯原則性的語義上的大錯(cuò),，人類不會。

　　所以,，這個(gè)對于決策來講是不可以用的，但是模式識別是可以用的,，你把模式識別也是一個(gè)錯(cuò),，看騾看成驢也是一個(gè)錯(cuò)，不分錯(cuò)的大小,。

　　這個(gè)問題怎么辦,？這個(gè)現(xiàn)在實(shí)際上有很多的問題：

　　醫(yī)學(xué)圖像識別：現(xiàn)在大家做醫(yī)療診斷，做了很多的圖像識別,，而且識別率可以達(dá)到醫(yī)生的水平,，這確實(shí)如此但是醫(yī)生不敢用，你說他有癌癥,，你搞不清楚它根據(jù)什么說他是癌癥這叫不可解釋性,，你做得再好他也沒法用。

　　語音識別：我們現(xiàn)在說是超過人,，那是在非常限制的條件下,，你的語音必須沒有任何的噪聲,，所有的語音識別你必須對著話筒講，如果我離遠(yuǎn)一點(diǎn)講,，識別率就非常低,，不允許有任何的干擾，也就是說它非常的脆弱,。 我們現(xiàn)在先看一下,，數(shù)據(jù)驅(qū)動非常大的好處，他是用的向量,，所有的數(shù)學(xué)工具都可以用上,，過去的人工智能為什么不行呢？數(shù)學(xué)用不上,，是用符合來表示,，你用邏輯推理這套東西，你的數(shù)學(xué)工具非常有限,。

　　兩個(gè)基本模型

　　大家看到的深度學(xué)習(xí)全是數(shù)學(xué),，所以大家的辦法很簡單，這個(gè)就是很大的問題了,，我們?nèi)绾谓鉀Q一個(gè)可解釋性,，就是要把這兩個(gè)結(jié)合起來，知識驅(qū)動和數(shù)據(jù)驅(qū)動結(jié)合起來,。

　　文本語言是這么處理的,，圖像語音是那樣處理的，現(xiàn)在的辦法很簡單,，語義的向量空間,，把符號變成向量，把特征變成語義,。所有的數(shù)學(xué)工具全能用上,，怎么辦呢？如何把符號變成向量,。

　　后深度學(xué)習(xí)時(shí)代

　　這樣,，我們就可以建立一個(gè)統(tǒng)一的理論用數(shù)學(xué)來處理它，所以我覺得現(xiàn)在人工智能才有資格說你是一門科學(xué),，我過去一致認(rèn)為,，人工智能不是一個(gè)科學(xué)。我圖像跟語言文在一個(gè)空間里面了,，這也符合人類,。

　　就全變成數(shù)學(xué)問題了，因?yàn)檫@個(gè)沒有解釋，現(xiàn)在就搞了各種各樣的優(yōu)化方法來做,，我們說機(jī)器翻譯也完全可以利用這個(gè)做,，過去的機(jī)器翻譯全是不用數(shù)學(xué)的，現(xiàn)在全是數(shù)學(xué),，全是優(yōu)化方法來做,，這也是我們研究院里面做的工作。

　　但是大家也看到了,，總體來講,，效果有提高，提高不多全世界都是這樣,，也就是說這個(gè)工作有大量的工作需要做,，另外一個(gè)辦法就是符號。但是,，我們需要把大量的數(shù)據(jù)換進(jìn)去,，沃森就是做的這個(gè)工作。

　　最關(guān)鍵的問題是兩條,，如果可以解決的話我們也可以用這個(gè)模型來解決,，就是要向數(shù)學(xué)學(xué)習(xí)的方法。

　　我認(rèn)為從人工智能的角度來講,，這個(gè)系統(tǒng)做得最好,，大家看到好的AlphaGo什么的，其實(shí)AlphaGo并沒有它好,。它用了資源就這些,，非常多，有原始感,，文學(xué)作品都是沒有經(jīng)過加工的,，這是他的系統(tǒng)。

　　從特征空間往一個(gè)空間去這個(gè)要學(xué)習(xí)人類,，人類同樣用神經(jīng)網(wǎng)絡(luò)做出來能學(xué)到語義,，計(jì)算機(jī)學(xué)不到語義，原因是缺少這些,，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)太簡單了，所以這里面必須把神經(jīng)網(wǎng)絡(luò)的東西加進(jìn)去,，這個(gè)是我們也做的一些工作,，加上去以后就可以學(xué)到含有語義的東西。

　　我們可以看一下,，最終走向真正的人工智能必須得有嘗試,，沒有嘗試這個(gè)系統(tǒng)實(shí)際上都是你告訴他的，對一個(gè)對話系統(tǒng)來講，對機(jī)器來講,，它只能回答你告訴他的,，現(xiàn)在好一點(diǎn)，你沒有直接告訴他,，他利用推理可以由原來的知識里面推出新的結(jié)論,，這個(gè)沃森能做到，但是做到的很有限,，比人類還差得很多,。

　　我們剛剛講過，人類理性智能一個(gè)最重要的表現(xiàn)就是你的推理能力,，你的判斷能力,，除掉你的知識和經(jīng)驗(yàn)之外。美國人花了很大的功夫去做這個(gè)事兒,，我們國家上次在知識圖譜會上就強(qiáng)調(diào),，我們也必須做，你想中國人工智能要走到世界的前面,，或者說跟上人家,，你不做這些工作可能是不行的。

　　我們利用嘗試進(jìn)行對話等等,，就可以解決詞匯里面沒有的詞,，計(jì)算機(jī)可以通過里面的知識來判斷這個(gè)詞大概是什么意思。