從早期的神經網絡研究到創(chuàng)造性解決語音識別任務,,再到投身金融領域,,機器學習大牛鄧力已經在人工智能領域叱咤三十余年,。他首次將深度神經網絡技術應用于語音識別領域,,性能超越之前的方法。在語音識別技術日趨成熟之際,,他果斷「轉行」投身金融,,加盟對沖基金巨頭 Citadel,。本文簡單介紹了鄧力的 AI 之旅,。11 月 10 日,,鄧力將在 AI Frontiers 大會做主題演講,介紹如何使用 AI 前沿技術抓住機遇,,解決挑戰(zhàn),。
鄧力的人工智能之旅已跨越 30 余年。在擔任過公司研究員、大學教授并在語音研究領域占有一席之地之后,,鄧力一頭扎進了金融界:2017 年 5 月,,他辭去了微軟首席人工智能科學家的職位(盡管他曾在那領導微軟的人工智能學校并創(chuàng)立了深度學習技術中心),加入了管理 300 億美元的對沖基金 Citadel 并擔任首席人工智能官(Chief AI Officer),。同時辭去的還有任教超過 17 年的華盛頓大學附屬教授職位,。
和鄧力一樣,,AI 領域的其他知名教授也經歷過職場變動,。卡內基梅隆大學機器學習系主任 Manuela Veloso 今年 5 月加入摩根大通,,領導該公司的人工智能研究實驗室,。《The Master Algorithm》作者,、華盛頓大學計算機科學教授 Pedro Domingos 最近加入了對沖基金巨頭 DE Shaw,,領導其新的機器學習研究小組。
自從資本市場有大量數據可用之后,,金融領域的 AI 應用程度就越來越高,。金融領域需要復雜的機器學習方法來自動處理數據和預測。鄧力表示,,「我覺得現(xiàn)在金融領域已經非常成熟了,,可以讓人工智能來大顯神威?!?/p>
作為一名成就斐然的科學家,,鄧力已經發(fā)表了 300 多篇學術論文,并寫了一些 AI 相關的書籍,。他特別擅長深度學習,。鄧力認為,深度學習將很快掌握預測價格走勢或做出明智交易決策的能力,。
在神經網絡領域的早期工作
20 世紀 80 年代中期,,鄧力進入威斯康星大學麥迪遜分校攻讀博士學位,主攻電氣工程方向,。這段時期,,鄧力試圖創(chuàng)建人類聽覺模擬和語音識別神經模型,然而進展并不順利,,因為當時的計算機無法為大型神經網絡提供足夠的計算能力,,這也是導致鄧的神經網絡研究停滯不前的原因之一。
然而,,鄧力并沒有放棄,。在以助理教授的身份加入加拿大滑鐵盧大學之后,他和他的一名學生于 1993 年提出了一種增強神經網絡記憶的新模型。該模型雖然是一個完整的系統(tǒng),,但性能仍無法超越隱馬爾可夫模型,。
他博士論文的外審是深度學習知名大牛 Geoffrey Hinton。在讀過論文后,,Hinton 告訴鄧力,,在這個階段,想要在神經網絡方面有所突破太難了,。這一令人失望的結果使得鄧力遠離神經網絡研究,,在之后的許多年轉向貝葉斯統(tǒng)計方法和生成模型研究。
將深度神經網絡應用于語音識別
在深度學習興起之前,,淺層的機器學習方法(如隱馬爾可夫模型和高絲混合模型)已經主導了該領域將近 30 年,。
鄧力離開滑鐵盧大學后,于 2000 年加入微軟,,專注于使用貝葉斯方法進行語音識別研究,。但是結果不盡如人意,因為多層貝葉斯網絡的計算機復雜度呈指數級增長,。
2006 年,,Hinton 發(fā)表了論文《A fast learning algorithm for deep belief nets》。論文表明,,即使使用三個隱藏層,,網絡仍然能夠對手寫數字圖像及其標簽的聯(lián)合分布生成表現(xiàn)良好的生成模型。鄧力對此很感興趣,,他意識到或許可以嘗試將深度神經網絡應用于語音識別,。
在 NIPS 2009 會議上,鄧力和 Hinton 聯(lián)合組織了「Deep Learning for Speech Recognition and Related Applications workshop」,。他們首次證明,,使用新方法訓練的深度神經網絡在大量語音識別基準上優(yōu)于之前的方法。研究結果發(fā)表在論文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》中,,該論文由 Hinton 和鄧力合著,,于 2012 年發(fā)表。
「深度學習可以實現(xiàn)語音信號的時間和空間表示,,從而改變語音識別的原有機制,,從這個層面上講機器學習是變革性的?!灌嚵φf道,。
接下來的時間里,鄧力及其團隊將多種不同的深度學習方法應用于語音,,包括 LSTM 循環(huán)神經網絡,、深度卷積神經網絡、序列學習和集成學習。這些創(chuàng)新極大提升了語音識別的準確率,,且被成功整合進語音理解和語音翻譯中,。
2015 年,憑借在深度學習與自動語音識別方向做出的杰出貢獻,,鄧力獲 IEEE 技術成就獎,。
金融領域新征程
近年來,語音識別技術已經成熟,。鄧力也準備迎接新的挑戰(zhàn),。目前他領導對沖基金公司 Citadel 的人工智能團隊,Citadel 是世界最大的另類資產管理基金之一,,管理超過 300 億美元的資產,。
Citadel
從語音識別領域轉到金融領域并不容易,。盡管這兩個領域有很多相似之處,,比如市場數據和語音數據本質上都是序列性的,但金融數據面臨一些重要挑戰(zhàn):
盡管市場和資本數據體量呈指數級增長,,但有用信息的增長并非如此,。金融數據的信噪比更低,這意味著大部分信息只是噪聲,。投資者必須區(qū)分信號和噪聲,。
非平穩(wěn)性是另一項挑戰(zhàn)。金融市場中的很多參與者互相競爭,,因此需要清除大量偽數據,。
金融數據的多樣性比語音數據的更復雜,數據類型包括文本,、圖像,、語音、市場數據等,?!敢鉀Q數據問題,經濟和金融知識和模型會有用武之地,?!灌嚵φf道。
今天,,鄧力的研究重點在于利用機器翻譯系統(tǒng)解釋文本數據,,以提升量化投資。如何將前沿 AI 研究應用到當前的機會和挑戰(zhàn)呢,?我們期待鄧力的演講,。
2018 年 11 月 10 日,鄧力將在于加州圣荷西舉辦的 AI Frontiers 大會上發(fā)表演講。AI Frontiers 大會匯集了 AI 領域的思想領導者,,展示前沿研究和產品,。除了鄧力以外,其他演講者還包括:Ilya Sutskever(OpenAI 創(chuàng)始人),、Jay Yagnik(Google AI 副總裁),、李開復(創(chuàng)新工場 CEO)、Mario Munich(iRobot 高級副總裁),、Quoc Le(谷歌大腦團隊成員),、Pieter Abbeel(加州大學伯克利分校教授)等。