《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計(jì) > 業(yè)界動態(tài) > 賽靈思劉競秀:人工智能計(jì)算的加速引擎

賽靈思劉競秀:人工智能計(jì)算的加速引擎

2019-04-19
關(guān)鍵詞: 人工智能 集成電路 FPGA

人工智能作為一門新的,、熱門的科學(xué),吸引了很多科研機(jī)構(gòu)和企業(yè)的關(guān)注與研究,。近年來,,人工智能產(chǎn)業(yè)取得了長足的進(jìn)步,,很多AI相關(guān)的應(yīng)用層出不窮,。但是,,我們必須正視人工智能技術(shù)并不完善,,算力的不足造成了應(yīng)用場景的局限,,未來幾年,,仍是企業(yè)研究的重點(diǎn)課題。賽靈思作為全球領(lǐng)先的可編程邏輯完整解決方案的供應(yīng)商,,它們研發(fā),、制造并銷售范圍廣泛的高級集成電路、軟件設(shè)計(jì)工具和作為預(yù)定義系統(tǒng)級功能的IP核,,賽靈思對AI的投入同樣備受關(guān)注,。2018年7月18日,全球最大的FPGA廠商賽靈思宣布收購中國AI芯片明星創(chuàng)業(yè)公司深鑒科技,,加速賽靈思在AI產(chǎn)業(yè)的布局,,讓人們對AI抱有更多的關(guān)注和期待,。

2019年4月11日,在“第八屆年度中國電子ICT媒體論壇暨2019產(chǎn)業(yè)核技術(shù)展望研討會”上,,賽靈思人工智能市場總監(jiān)劉競秀給大家講述了人工智能計(jì)算的加速引擎以及享賽靈思對人工智能的理解,,下面是劉競秀演講的主要內(nèi)容(編輯做了不改原意的改動)。

1555483023038026463.jpg

賽靈思人工智能市場總監(jiān)劉競秀

劉競秀:大家上午好,,很高興與大家分享賽靈思對當(dāng)今人工智能的理解和為此準(zhǔn)備的解決方案,。在過去二十多年技術(shù)發(fā)展過程中,我們經(jīng)歷了PC時(shí)代,、互聯(lián)網(wǎng)時(shí)代,、移動互聯(lián)網(wǎng)時(shí)代、AI時(shí)代,,以及所面臨的下一個時(shí)代,,也就是AI+I(xiàn)oT時(shí)代。PC時(shí)代,,基本每個家庭擁有電腦,,有了互聯(lián)網(wǎng)之后,人與人或者機(jī)器與機(jī)器間的連接慢慢賦予能力,。隨著智能手機(jī)的普及,,智能終端數(shù)量超過全球人口數(shù)量,每個人都有一個手機(jī)作為智能終端?,F(xiàn)在大家都在討論AI,,講AI落地,同時(shí)大家也在思考未來20年是什么樣,,很可能是AI+I(xiàn)oT的時(shí)代,。

從計(jì)算的演變看高性能計(jì)算平臺的發(fā)展趨勢

1555483153917002058.jpg

AI并不是某一個行業(yè)或某個產(chǎn)品,最終還是要落地在具體場景,、行業(yè)和需求上。AI最終是被所有需要做計(jì)算,、理解,、感知的設(shè)備、場景或服務(wù)提供本地計(jì)算能力和云端計(jì)算能力,,本質(zhì)上AI是通用能力,,就像電和內(nèi)燃機(jī),它所賦能的并不是某一個特定行業(yè)狹窄的應(yīng)用,,而是可以促進(jìn)眾多行業(yè)的產(chǎn)業(yè)升級和產(chǎn)品迭代,。但不同行業(yè)對AI的需求以及理解是不同的。

AI的核心是高性能計(jì)算,,提到計(jì)算,,通常會想到CPU和GPU,。CPU是用于通用計(jì)算的,GPU用于做高性能計(jì)算從2012年開始,,人工智能快速發(fā)展,,但是落地的場景比預(yù)期要差,從我個人角度來講,,我認(rèn)為有兩個剪刀差阻礙了這個時(shí)間點(diǎn)人工智能的落地,。

第一個剪刀差是需要處理的數(shù)據(jù)和計(jì)算芯片所能夠提供的處理能力之間的剪刀差。計(jì)算芯片工藝從過去28納米,、20納米,, 16納米,14納米,、10納米,、7納米、5納米,、3納米,,摩爾定律使芯片性能增加速度越來越飽和。大家看到技術(shù)的趨勢,,只有高端的消費(fèi)類,、迭代很快的產(chǎn)品(例如手機(jī))才能支撐得起最先進(jìn)工藝高昂的芯片迭代成本。至于芯片的發(fā)展趨勢,,無論從CPU,、GPU到FPGA、ASIC,,對于通用芯片來講,,它的好處是應(yīng)用比較廣泛、上手快,,大公司如谷歌,、阿里也在做芯片,眾多創(chuàng)業(yè)公司都在做各種各樣的ASIC,,希望在特定的定制領(lǐng)域提供一些場景和應(yīng)用,。對這些特定的場景和應(yīng)用,ASIC的性價(jià)比可能更高,,所以技術(shù)發(fā)展的趨勢一定是從CPU,、GPU到FPGA,最后到ASIC,。

1555483200135008141.jpg

所以市場上有一個重要的時(shí)間窗口,,就是每個行業(yè)在需求成熟之前,在大家有能力,、有信心去開ASIC把這個錢賺回來之前,,大家不會去開ASIC,,而且這時(shí)候又需要一個平臺做初期的市場嘗試或者在激烈的市場競爭中快速將創(chuàng)意變成現(xiàn)實(shí), 贏得市場先機(jī),,這時(shí)候FPGA就是最好的計(jì)算平臺產(chǎn)品,。

第二個剪刀差就是芯片設(shè)計(jì)生產(chǎn)的長周期和快速迭代的市場需求之間的差距。芯片不是那種靠錢就可以換時(shí)間的技術(shù),,最快也要一年半到兩年才有可能走完一個完整的流程,,從后端設(shè)計(jì)包括封測等,這個一年到兩年的時(shí)間窗口是任何人做ASIC都要經(jīng)歷的,。我們看現(xiàn)在的AI公司的客戶,,很多情況下需求都非常緊迫例如說我這個月有一個項(xiàng)目,你能不能下一個月幫我把東西做出來,,所以第二個剪刀差,,就是快速變化、快速迭代的市場和ASIC開發(fā)周期漫長之間的差距,,這也是第二個重要原因,。

AI變現(xiàn)能力迅速增強(qiáng)

這里跟大家分享了兩個我們認(rèn)為技術(shù)發(fā)展趨勢的很關(guān)鍵的因素,回來看這些應(yīng)用場景,。

1555483238513051858.jpg

如圖所示是過去這幾年各種各樣的AI相關(guān)的主流應(yīng)用場景,。包括視頻和圖像相關(guān)應(yīng)用,基于語音相關(guān)的應(yīng)用,。跟視頻相關(guān)的,,最新的應(yīng)用最多的,還要感謝我們國家對于信息網(wǎng)絡(luò)安全的建設(shè),,中國的安防監(jiān)控系統(tǒng),。我們國家從2017、2018到2020年,,從政府層面會投三四百億來做平安城市,,做天網(wǎng)工程,包括各種各樣的場景的視頻監(jiān)控和網(wǎng)絡(luò)的建設(shè),,這個場景本身視頻監(jiān)控的場景是很傳統(tǒng)的行業(yè),,但它對于AI的需求有個很明顯的變化,我們發(fā)現(xiàn)布的攝像頭越多就需要越多的人來看,,導(dǎo)致警察大量的時(shí)間花在看視頻上從而導(dǎo)致警力的不足,而AI恰好可以在這一個痛點(diǎn)上極大的提高警察系統(tǒng)的效率,。它不需要準(zhǔn)確地告訴你誰是壞人,,只要告訴你今天有十個嫌疑人是壞人,只要看這十個人就好了,。所以這點(diǎn)上AI是能夠幫助產(chǎn)業(yè)落地很重要的原因,,所以我們看過去這2017,、2018年的行業(yè)龍頭,股票漲得也非常好,。

除了這些行業(yè)應(yīng)用的安防監(jiān)控,,你會發(fā)現(xiàn)現(xiàn)在的高檔寫字樓、高檔酒店,,跟人臉相關(guān)的也越來越多,,包括機(jī)場、火車站大量無人值守的閘機(jī),。第二類跟網(wǎng)絡(luò)視頻相關(guān),,最近幾年有大量短視頻的網(wǎng)站興起,對于這樣的公司,,他們有個很重要的剛需,,就是內(nèi)容審查機(jī)制。現(xiàn)在都是靠大量的人力來做,,這是很有限的,,而視頻審查在這方面可以極大地幫助這些公司緩解這方面的壓力。現(xiàn)在大家都是靠花錢雇內(nèi)部審查人員,,內(nèi)部審查人員管理外包人員做審查,。但一般的非實(shí)時(shí)短視頻業(yè)務(wù)相對比較容易做,比如晚一兩個小時(shí)上線問題不大,,但直播類的比較難,,而大量的AI公司現(xiàn)在做了基于文字、基于人臉識別,,包括基于行為動作的審查機(jī)制的解決方案,,現(xiàn)在在不同的場景、不同的網(wǎng)絡(luò)節(jié)點(diǎn)都在做相應(yīng)的嘗試跟大量的部署,,這是一類應(yīng)用,。第三類是跟消費(fèi)類相關(guān)的,例如無人值守超市.

1555483608409015195.jpg

跟汽車相關(guān)的應(yīng)用是最近非常熱的話題了,,無論是自動駕駛,、無人駕駛,這些ECU ( 電子控制單元)最終都需要它具備一定的理解能力,,輔助中央控制器做相應(yīng)的判斷和決策,。跟語音相關(guān)的應(yīng)用就非常豐富了,家里的聊天機(jī)器人,,小度,,包括手機(jī)里的siri,都是用AI做輔助的應(yīng)用,,但語音相關(guān)的應(yīng)用本質(zhì)上來講和視覺相關(guān)應(yīng)用相比還不足夠成熟,,這里面有一個很關(guān)鍵的因素,,就是視覺相關(guān)的應(yīng)用,用CNA或者DNN做網(wǎng)絡(luò)檢測的應(yīng)用,,能夠提供端到端解決方案的技術(shù),,對于語音應(yīng)用,AI(例如LSTM)在語音應(yīng)用里面,,這樣的網(wǎng)絡(luò)模型只是不同語音模型中的一部分,,有大量的前處理跟后處理的技術(shù),跟AI沒有關(guān)系,。所以人工智能在語音識別的技術(shù)里面只是眾多技術(shù)處理的環(huán)境中的一環(huán),,它不像視覺那樣,比如說我把這個目標(biāo)檢測出來了,,這個任務(wù)就結(jié)束了,,但在語音里面,中間這一環(huán)的效率有的時(shí)候會是瓶頸,,有的不是瓶頸,,所以面對不同的場景,人工智能能不能幫語音做更好的加速,,是要看具體的客戶所選擇的方案,,這是很重要的一點(diǎn)。第二點(diǎn)現(xiàn)在語音聊天機(jī)器人,,基本上沒有能跟人一樣聊二十句,,這是能力的限制,學(xué)術(shù)界來講,,無論數(shù)字級多豐富,,訓(xùn)練的網(wǎng)絡(luò)多深,也沒辦法聊二十句,,后面基本上是尬聊了,,這也是限制的另外一個很重要的因素。

打造靈活應(yīng)變?nèi)f物智能的世界

1555483589878032595.jpg

從賽靈思的角度來講,,無論是萬物互聯(lián)還是大規(guī)模的超算,,我們需要做的事情是幫助客戶、幫助市場提供快速部署的平臺,,所以我們的目標(biāo)就是提供靈活應(yīng)變?nèi)f物互聯(lián)的高性能計(jì)算平臺,。賽靈思去年換了新的CEO,發(fā)布了新的戰(zhàn)略,,數(shù)據(jù)中心優(yōu)先,,加速傳統(tǒng)的八大核心市場,驅(qū)動自適應(yīng)的計(jì)算。我們傳統(tǒng)的市場大概分成這樣八個方向,,簡單介紹一下,第一類汽車,,在AI出來之前,,賽靈思在汽車行業(yè)已經(jīng)深耕了十幾年,有各種各樣的符合車規(guī)認(rèn)證的車載芯片,。在通信領(lǐng)域,,各種各樣的FPGA做高性能的信號處理。包括航空航天,,傳統(tǒng)的工業(yè)控制,、醫(yī)療,包括儀器儀表,,我們過去調(diào)侃國內(nèi)的AI芯片創(chuàng)業(yè)公司,,我們說這幾家做AI芯片的創(chuàng)業(yè)公司自己誰都沒賺到錢,但把賣儀器儀表的公司都支持得非常非常好,。

簡單介紹一下我們下一代的Versal計(jì)算引擎,,我們首先是面對通信和人工智能高性能場景,定義了完全不一樣的芯片架構(gòu),,我們利用3D技術(shù)提供高性能的高帶寬存儲,,提供兩個能力,一個是計(jì)算能力,,一個是存儲能力,,人工智能的網(wǎng)絡(luò)都是幾十幾百層,幾千萬上億參數(shù)的快速運(yùn)算和反復(fù)的讀取,,如果每一層的數(shù)據(jù)運(yùn)算的結(jié)果都需要去讀寫的話,,一個是延時(shí)長,一個是功耗大,,所以為什么現(xiàn)在主流做AI芯片慢慢會提供盡可能大的存儲空間,,而3D的技術(shù)是最有效提供高性能面向存儲的技術(shù)。同時(shí)我們充分利用硬核處理器功能,,支持AI場景的快速運(yùn)算,。

從人工智能的解決方案來講,我們希望為客戶提供端到端的解決方案,,又回來講,,我們在過去幾年接觸所謂的AI客戶碰到的窘境,大家做芯片本身沒有那么難,,無論是AI芯片包括其它的芯片,,包括我們國家自己做的各種CPU,把芯片本身做出來不難,但是為了幫客戶用起來,,需要的軟件,、生態(tài)環(huán)境、工具鏈,,各種參考應(yīng)用,,這些需要花更長的時(shí)間,更多的資源才需要客戶把產(chǎn)品用起來最關(guān)鍵最核心的因素,。所以我們希望提供整套的產(chǎn)品,,為客戶提供不同層次的支持,從底層的硬件,,中間各種各樣的IP以及軟件,,應(yīng)用層各種各樣的神經(jīng)網(wǎng)絡(luò)模型,都可以提供給客戶,,所以理論上來講,,客戶可以選擇我們不同的神經(jīng)網(wǎng)絡(luò),選擇合適的芯片,、合適的硬件,,這些PCB的板卡都比較成熟,無論是賽靈思,,我們的合作伙伴,、客戶都有能力做這些硬件。結(jié)合賽靈思傳統(tǒng)的開發(fā)軟件,,把這些整套的AI相應(yīng)的工具用起來,,就可以快速地實(shí)現(xiàn)產(chǎn)品的部署。

從行業(yè)的角度來講,,我們希望提供的是一個通用的AI解決方案,,換句話來講,我們的AI解決方案并不是只能做人臉或者只能做車輛檢測,,為了實(shí)現(xiàn)這樣的目的,,我們做了兩件事情,第一件事情是在底層定義了自己的指令級和IP,,這些IP是非常高效的定制IP,,就是來專門為人工智能做不同的算子,比如特殊編程,,提供定向加速的IP,,定向到相應(yīng)的指令,但這還是很底層的硬件開發(fā)能力,。我們開發(fā)了工具,,通過這些工具和SDK為客戶提供了接口,。所以客戶不需要寫任何一行代碼,只需要把我們調(diào)用起來,,就可以支持不同行業(yè)不同場景的應(yīng)用,。所以無論是人臉、車輛等等都是不同的CNA,,它們核心的算子都是一樣的,,就是網(wǎng)絡(luò)架構(gòu)和參數(shù)配置不一樣,然后生成不同的指令,,最終運(yùn)行在不同的硬件平臺上。所以我們希望通過這樣一個通用的處理器平臺,,為客戶提供一個比較高效的開發(fā)用戶體驗(yàn),。

我們都知道,F(xiàn)PGA很多場景應(yīng)用都非常高,,代價(jià)就是周期比較長,,三個月六個月一年都可能,但用我們現(xiàn)有的方案,,最快幾個小時(shí)就可以把新的網(wǎng)絡(luò)部署在硬件上,,就可以把系統(tǒng)運(yùn)行起來,這對人工智能的創(chuàng)業(yè)公司和合作伙伴來講是最重要的,,可以非??斓啬玫揭粋€原型機(jī),用這些原型機(jī)去真正的場景做性能,、功能的迭代,、數(shù)據(jù)的收集,這樣產(chǎn)品才能更快地比別人推向市場,。

下面簡單跟大家分享一下我們在模型庫方面的一些積累,,這些主流的模型,我們并不是說賽靈思在這些方面做得多不一樣,,我們只是說賽靈思作為一顆傳統(tǒng)的FPGA芯片公司,,現(xiàn)在已經(jīng)慢慢走向另外一個維度,我們希望為客戶提供的不單是一顆芯片,,以及圍繞芯片的PCB層面的參考設(shè)計(jì),,現(xiàn)在幫客戶提供的是,基于芯片,、IP加上工具,,以及客戶在真實(shí)場景中真實(shí)應(yīng)用的算法,整個一套都幫客戶提供參考設(shè)計(jì),,而參考設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò),,對我們來講通常會免費(fèi)提供給客戶,,目的是幫助客戶更好的使用基于賽靈思FPGA的解決方案。所以第一類我們剛才講了,,無論是給警察用,,包括重要領(lǐng)導(dǎo)人的出訪,事前事中事后的布防,,包括追蹤等等,,車輛信息的檢測,包括車牌,、車的型號,,包括行人衣服的顏色,有沒有戴眼鏡等等信息都是最基本的,。我們想說,,賽靈思現(xiàn)在有能力幫助客戶提供各種各樣的應(yīng)用層面的參考設(shè)計(jì)跟行人參考的應(yīng)用,行人關(guān)鍵點(diǎn)的檢測,,這都是很普通的應(yīng)用,,我們更希望這些應(yīng)用是給人和機(jī)器之間提供了另外一類人機(jī)交互的接口。我舉個例子,,很多人都玩過無人機(jī),,大家玩的時(shí)候要么兩個手拿手機(jī),要么兩個手拿控制器,,但是有了人機(jī)交互新的界面之后,,有些特定的動作,拍照,、錄視頻等等,,可以極大地提升娛樂性。

包括跟車輛相關(guān)的應(yīng)用,,左上角是自動駕駛最基本的功能,,做語義分割,分配和判別這個像素是屬于哪一堆,,然后再判斷這一堆是天空,、樹、可行駛的區(qū)域道路等等,,然后紅綠燈交通牌等等所有信息都是拿來做各種各樣的基本信息的提取單元,。我們在車上的應(yīng)用現(xiàn)在主流的應(yīng)用包括激光雷達(dá)、攝像頭等,,各種各樣的前置后置環(huán)置,,車內(nèi)的監(jiān)控,對駕駛員,、乘客的監(jiān)控,,各種各樣的場景都是基于我剛才提到的各種各樣的模型,,無非就是目標(biāo)檢測、識別跟蹤,。激光雷達(dá)稍微多講一點(diǎn),,賽靈思現(xiàn)在市占率90%,很重要的原因是現(xiàn)在全世界大概有大約幾十家主流的做激光雷達(dá)的公司,,大家的方案和產(chǎn)品的技術(shù)路線差異非常非常大,。這又帶來一個問題,沒有誰能夠做一顆計(jì)算平臺能夠覆蓋差異這么大的平臺開發(fā),,這恰好是FPGA最好的市場,,未來的時(shí)間里,F(xiàn)PGA仍然是計(jì)算平臺的提供者,。

在消費(fèi)者領(lǐng)域,,我們通常會講,消費(fèi)者領(lǐng)域?qū)r(jià)格會比較敏感,,但是還是會有很多高端的消費(fèi)類產(chǎn)品,愿意用稍微高的價(jià)格,,采用高性能的芯片,。我舉個例子,我們辦公室里面有四顆會議監(jiān)控系統(tǒng),,大概要幾十萬一套,,誰講話就自動把鏡頭注目到這個人臉上,這是最簡單的,,用人工智能提升用戶體驗(yàn)的方式,,包括一些高端的投影儀,需要用一些手勢來做控制,,包括用AI來做超分,,各種各樣的場景在傳統(tǒng)消費(fèi)類市場里面會有不同的需求和應(yīng)用。

最后跟大家分享一下,,在過去,,賽靈思為了讓客戶更好地用我們產(chǎn)品,我們做的努力,。傳統(tǒng)的方式就是提供RTL full design工具,,這是傳統(tǒng)領(lǐng)域適用的。主流的人工智能公司都是算法公司,,他們都不知道FPGA是干什么的,,慢慢我們會提供各種各樣的工具、底層的功能模塊,,比如網(wǎng)絡(luò)接口,、物理層各種各樣的接口和計(jì)算單元,,剛才我們提到的DPU也是IP的一種,基于這種IP,,如果我沒有現(xiàn)成的IP就會提供給客戶,,但客戶說我還有其它功能,沒有IP怎么辦,,就會提供HLS,,通過工具把這些代碼自動轉(zhuǎn)成底層的代碼,再往后我們在嵌入式系統(tǒng)層面提供各種各樣的系統(tǒng),,包括車載的系統(tǒng)等等,,我們會幫助客戶在嵌入式層面,把相應(yīng)的東西盡可能配置好,,減少客戶開發(fā)周期,,最終在應(yīng)用層面,會提供應(yīng)用層面的庫,,比如說剛才看到的人工智能的網(wǎng)絡(luò)庫,。在平臺層面,我們會把不同的應(yīng)用放在AWS,、阿里云,、華為云上,這樣客戶用華為云的方式調(diào)用我們的IP,。最終我們會提供各種各樣的端到端的IP,。這是我們在過去幾年賽靈思做的很大的轉(zhuǎn)變,通過這種轉(zhuǎn)變我們也希望能夠在未來人工智能時(shí)代配合客戶和合作伙伴快速地進(jìn)行產(chǎn)品落地,。謝謝大家,!


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。