深度學(xué)習(xí)領(lǐng)域最知名的學(xué)者之一Yann LeCun今日在自己facebook上發(fā)表的一篇短文,,瞬間引爆了國(guó)內(nèi)人工智能關(guān)注者們的朋友圈,。這條動(dòng)態(tài)講的是什么呢?為何會(huì)引起如此軒然大波?
我們常常提到的深度學(xué)習(xí)是全部深度學(xué)習(xí)算法的總稱,卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)算法在圖像處理領(lǐng)域的一個(gè)應(yīng)用。而Yann LeCun就是卷積神經(jīng)網(wǎng)路的發(fā)明者,,也被稱之為“卷積神經(jīng)網(wǎng)絡(luò)之父”。卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)對(duì)人工智能發(fā)展的重要性不必多說,。而這次Yann LeCun的推文傳播如此之快,,是不是有比“卷積神經(jīng)網(wǎng)絡(luò)”更重大的學(xué)術(shù)成果出來了,?為了使國(guó)內(nèi)讀者了解到 LeCun推送的內(nèi)容,雷鋒網(wǎng)(公眾號(hào):雷鋒網(wǎng))編輯對(duì)推文進(jìn)行了編譯,。
首先開頭是一句極具有標(biāo)題黨風(fēng)格的英法混合語(yǔ):
Deep Learning est mort. Vive Differentiable Programming!
翻譯成中文就是:深度學(xué)習(xí)已死,,可微分編程萬(wàn)歲!
為何突出此言,?深度學(xué)習(xí)算法是人工智能多個(gè)領(lǐng)域的底層框架,,怎么就死了呢?接著往下看發(fā)現(xiàn)LeCun說的是“深度學(xué)習(xí)”這個(gè)詞已死,,該有新的名詞來替代它了,。
LeCun提到的新詞是可微分編程。
他在推文中解釋道“可微分編程”不過是把現(xiàn)代深度學(xué)習(xí)技術(shù)重新?lián)Q了個(gè)叫法,,這就跟當(dāng)年神經(jīng)網(wǎng)絡(luò)還只有兩個(gè)以上隱藏層時(shí)就被稱之為“深度學(xué)習(xí)”差不多,。對(duì)于現(xiàn)代深度學(xué)習(xí)技術(shù),“深度學(xué)習(xí)”這個(gè)詞已經(jīng)不夠用了,。
他又寫道:
但重點(diǎn)的是,,人們現(xiàn)在正通過組裝參數(shù)化功能模塊網(wǎng)絡(luò),構(gòu)建一種新軟件,,并用某種基于梯度優(yōu)化的方法來訓(xùn)練它們,。
越來越多的人正在以一種依賴于數(shù)據(jù)的方式(循環(huán)和條件)來程序化定義網(wǎng)絡(luò),讓它們隨著輸入數(shù)據(jù)的動(dòng)態(tài)變化而變化,。這與普通的程序非常類似,,除了前者是參數(shù)化的、可以自動(dòng)可微分,,并且可訓(xùn)練和優(yōu)化,。動(dòng)態(tài)網(wǎng)絡(luò)變得越來越流行(尤其是對(duì)于NLP),這要?dú)w功于PyTorch和Chainer等深度學(xué)習(xí)框架(注意:早在1994年,,之前的深度學(xué)習(xí)框架Lush,就能處理一種稱為Graph Transformer Networks的特殊動(dòng)態(tài)網(wǎng)絡(luò),,用于文本識(shí)別),。
現(xiàn)在人們正在積極研究開發(fā)命令式可微分編程語(yǔ)言編譯器,這對(duì)開發(fā)基于學(xué)習(xí)的AI(learning-based AI)來說是一條非常令人興奮的途徑,。
最后,,LeCun還特別強(qiáng)調(diào)將“深度學(xué)習(xí)”改名為”可微分編程”還不夠,其他的一些概念也需要改,,比如“預(yù)測(cè)性學(xué)習(xí)”應(yīng)該改為 “Imputative Learning”,。他說稍后會(huì)談更多......(讀者們可以幫想想還有什么需要改名的,這句是雷鋒網(wǎng)加的),。讓我們一起來關(guān)注LeCun的最新動(dòng)態(tài)吧,!
LeCun的Facebook截圖: