近年來,產(chǎn)生,、處理及進(jìn)一步利用數(shù)據(jù)以取得更多價(jià)值與資訊的方式已大不相同,,而這都是受到深度學(xué)習(xí)與神經(jīng)網(wǎng)路應(yīng)用等新型運(yùn)算模型崛起所影響,。這些深遠(yuǎn)的影響都始于數(shù)據(jù)中心,,透過深度學(xué)習(xí)技術(shù)從大量數(shù)據(jù)中洞察出其價(jià)值,,主要包括影像的分類與辨識(shí),、促成自然語言或語言處理功能,,甚至用于理解、生成及學(xué)習(xí)如何進(jìn)行復(fù)雜的策略游戲,。這個(gè)變化也帶動(dòng)了專為解決此類問題,且更具能源效率運(yùn)算裝置的(以通用型繪圖處理器(GP-GPU)及現(xiàn)場可程式閘陣列(FPGA)為基礎(chǔ))發(fā)展,,甚至包含完全客制特殊應(yīng)用積體電路(ASIC),,能夠進(jìn)一步加快并且提升這類深度學(xué)習(xí)系統(tǒng)的運(yùn)算能力。
大數(shù)據(jù)與快數(shù)據(jù)
大數(shù)據(jù)(Big Data)應(yīng)用是使用特殊的GP-GPU,、FPGA與ASIC處理器,,搭配深度學(xué)習(xí)技術(shù)作分析,從中找出趨勢,、固定模式及關(guān)聯(lián)性,,借此提供影像辨識(shí)、語音辨識(shí)或其他功能,。大數(shù)據(jù)的應(yīng)用多建立于「過去的數(shù)據(jù)」或「儲(chǔ)存于云端的數(shù)據(jù)」,,因此經(jīng)常能形成「訓(xùn)練有素」的神經(jīng)網(wǎng)路,,尤其適合執(zhí)行特定作業(yè),例如辨識(shí)并標(biāo)注影像或視訊中所有的臉孔,,甚至是語音辨識(shí)也是代表性案例,。
此類作業(yè)亦非常適合讓配有專用引擎(或推論引擎)及快數(shù)據(jù)應(yīng)用的邊緣裝置來執(zhí)行(圖1)。透過處理,、分析終端所擷取的數(shù)據(jù),,快數(shù)據(jù)可引用大數(shù)據(jù)的演算法提供即時(shí)決策及結(jié)果。畢竟大數(shù)據(jù)所提供的洞察價(jià)值之一,,是從「已發(fā)生的事」來推斷「未來可能會(huì)發(fā)生的事」(預(yù)測性分析),;而快數(shù)據(jù)則是提供即時(shí)行動(dòng),借此改善商業(yè)決策,、營運(yùn),,并減少效率不彰情況。這些方法亦可適用于各種邊緣及儲(chǔ)存裝置,,像是攝影機(jī),、智慧型手機(jī)與固態(tài)硬碟(SSD)。
圖1 大數(shù)據(jù),、快數(shù)據(jù)與RISC-V商機(jī)
RISC-V為數(shù)據(jù)運(yùn)算新利器,,新型工作負(fù)載量可分為兩種情境:
1.以特定工作負(fù)載「訓(xùn)練」大型神經(jīng)網(wǎng)路,例如影像或語音辨識(shí),。
2.將已「訓(xùn)練」或「量身打造」的神經(jīng)網(wǎng)路應(yīng)用在邊緣裝置上,。
兩者的工作負(fù)載量都需要大量包含大矩陣乘法與卷積(Convolution)層的平行數(shù)據(jù)處理與運(yùn)算,為使這些運(yùn)算功能達(dá)到最佳配置,,須有能運(yùn)作大規(guī)模向量或數(shù)據(jù)陣列的向量指令,。RISC-V正是適合此類應(yīng)用的架構(gòu)與生態(tài)系統(tǒng),而其以開放原始碼軟件所設(shè)定的標(biāo)準(zhǔn)化運(yùn)算處理,,可讓開發(fā)人員自由采用,、修改,甚至增加專用的向量指令,。圖1概述RISC-V運(yùn)算架構(gòu)可應(yīng)用的情境及范例,。
優(yōu)化數(shù)據(jù)移動(dòng)方式/時(shí)間為運(yùn)算處理首要任務(wù)
快數(shù)據(jù)與終端運(yùn)算的崛起,亦代表將所有數(shù)據(jù)來回傳輸至云端進(jìn)行分析已不是最有效率的方案,。首先,,相對大量的數(shù)據(jù)在行動(dòng)網(wǎng)路及乙太網(wǎng)路之間長距離傳送所造成的延遲,對于必須即時(shí)作業(yè)處理的影像或語音辨識(shí)應(yīng)用而言并非最佳作法,。
其次,,終端運(yùn)算才是真正能擴(kuò)充架構(gòu)價(jià)值之所在,尤其在執(zhí)行影像及語音處理,,或利用固態(tài)硬碟進(jìn)行運(yùn)算時(shí),。如此一來,,在每次新增邊緣裝置時(shí),即可增加整體架構(gòu)的運(yùn)算性能,。因此,,如何優(yōu)化數(shù)據(jù)移動(dòng)的方式和時(shí)間,才是新架構(gòu)可擴(kuò)充性的關(guān)鍵因素與考量,。
圖1a中,,云端數(shù)據(jù)中心伺服器利用大數(shù)據(jù)資料來進(jìn)行深度學(xué)習(xí)神經(jīng)網(wǎng)路的「訓(xùn)練」與「學(xué)習(xí)」。圖1b中,,位于終端的監(jiān)控?cái)z影機(jī),,配備了能引用大數(shù)據(jù)演算法的推理引擎,可即時(shí)辨識(shí)影像(快數(shù)據(jù)),。圖1c中,,智慧型固態(tài)硬碟裝置使用推理引擎進(jìn)行數(shù)據(jù)辨識(shí)及分類,有效利用裝置的頻寬,。正如圖1所列出RISC-V核心的潛在應(yīng)用,,使用者可以自由新增專用及未來標(biāo)準(zhǔn)化的向量指令,對于往后處理深度學(xué)習(xí)與推論技術(shù)都極為重要,。
另一個(gè)類似且重要的趨勢,,是數(shù)據(jù)如何在大數(shù)據(jù)與云端內(nèi)部進(jìn)行移動(dòng)與存取。傳統(tǒng)的運(yùn)算架構(gòu)皆利用附加在多種裝置的匯流排(Bus)搭載資料傳輸(例如專用機(jī)器學(xué)習(xí)加速器,、顯示卡,、快速SSD,以及智慧聯(lián)網(wǎng)控制器等),。此類型匯流排,,特別是CPU及主要持久型記憶體(Persistent Memory)之間皆因頻寬速度限制,導(dǎo)致設(shè)備本身的效能并未能被完善使用,。此外,,此類型運(yùn)算裝置的記憶體不但不能互相分享,也無法與CPU共用,,同時(shí)造成了設(shè)備資源的浪費(fèi),。
目前產(chǎn)業(yè)已有幾大重要新興趨勢,針對如何改善不同運(yùn)算裝置之間的數(shù)據(jù)移動(dòng)(例如CPU,、運(yùn)算及網(wǎng)路加速器),,以及如何存取在記憶體或快速儲(chǔ)存裝置里面的數(shù)據(jù),。這些新的趨勢都著重在開放式標(biāo)準(zhǔn),,以提供更快、更低延遲的串行連接架構(gòu),,以及更聰明的邏輯協(xié)定,,讓共享記憶體具有連貫的存取路徑,。
RISC-V為優(yōu)化數(shù)據(jù)移動(dòng)關(guān)鍵技術(shù)
未來的架構(gòu)必須針對持久型記憶體以及具備連貫性快取的快速匯流排(例如TileLink、RapidIO,、OpenCAPI和Gen-Z),,透過連結(jié)運(yùn)算加速器,提升效能持續(xù)性,,同時(shí)使所有裝置共享記憶體,,減少不必要的數(shù)據(jù)移動(dòng)。
傳統(tǒng)的運(yùn)算架構(gòu)因在高速記憶體與運(yùn)算系統(tǒng)應(yīng)用頻寬受限的匯流排,,導(dǎo)致效能隨之受限,。未來的運(yùn)算架構(gòu)則采用開放式介面,能為平臺(tái)所有運(yùn)算資源提供統(tǒng)一且具有連貫性快取的存取途徑(稱為以數(shù)據(jù)為中心的架構(gòu)),,且部署的裝置能利用同一個(gè)共享記憶體,,減少不必要的數(shù)據(jù)復(fù)制。
非核心(Uncore)CPU與網(wǎng)路介面控制器將會(huì)逐漸成為移動(dòng)數(shù)據(jù)的關(guān)鍵推動(dòng)元件,。未來非核心CPU元件不但必須能夠支援關(guān)鍵記憶體及持久型記憶體介面(例如NVDIMM-P),,也須覆蓋內(nèi)建于CPU的記憶體。除此之外,,適用于運(yùn)算加速器,、智慧聯(lián)網(wǎng)及遠(yuǎn)端持久型記憶體的智慧高速型式匯流排也都是不可或缺。此外,,匯流排上所有的裝置(例如CPU,、通用或?qū)S眯瓦\(yùn)算加速器、網(wǎng)路配接器,、儲(chǔ)存裝置或記憶體)都可以加入自己的運(yùn)算資源,,但前提是必須能存取分享記憶體。
RISC-V技術(shù)可視為優(yōu)化數(shù)據(jù)移動(dòng)的關(guān)鍵推動(dòng)因素,,因其可于所有運(yùn)算加速器裝置上建置新機(jī)器學(xué)習(xí)工作負(fù)載量的向量指令,,并提供開放原始碼CPU技術(shù);不但支援開放式記憶體與智慧匯流排介面,,也能建置以數(shù)據(jù)為中心,、內(nèi)含連貫式分享記憶體的新型架構(gòu)。
以RISC-V解決各項(xiàng)挑戰(zhàn)
大數(shù)據(jù)與快數(shù)據(jù)在未來將會(huì)面對各種移動(dòng)數(shù)據(jù)相關(guān)的挑戰(zhàn),,而這卻能為RISC-V指令集架構(gòu)(ISA)及其所采用的開放式模組開拓新市場,,它將會(huì)是以數(shù)據(jù)為中心的運(yùn)算架構(gòu)情境的首選,功能包括:
擴(kuò)充邊緣運(yùn)算裝置所需的運(yùn)算資源,。
新增專用指令,,例如客制化機(jī)器學(xué)習(xí)工作的向量指令。
于儲(chǔ)存與記憶體媒介裝置小型運(yùn)算核心,。
促成新的運(yùn)算概念與模組化芯片設(shè)計(jì),。
促進(jìn)以數(shù)據(jù)為中心的新架構(gòu),,所有處理元件都能連貫存取分享持久型記憶體,進(jìn)而優(yōu)化數(shù)據(jù)移動(dòng)的應(yīng)用與環(huán)境,。
RISC-V是由超過100個(gè)組織的會(huì)員所開發(fā),,其中包含一個(gè)由軟硬件創(chuàng)新人士所組成的協(xié)作社團(tuán),能針對特定目的或?qū)0父木幹噶罴軜?gòu),。所有加入此組織的會(huì)員,,皆能使用Berkeley Software Distribution(BSD)授權(quán)條款來設(shè)計(jì)、制造或/與販?zhǔn)跼ISC-V芯片與軟件,。為實(shí)現(xiàn)數(shù)據(jù)的價(jià)值與可能性,,須擷取、保存,、存取及轉(zhuǎn)換數(shù)據(jù),,將其潛力發(fā)揮到極致。大數(shù)據(jù)和快數(shù)據(jù)應(yīng)用的環(huán)境,,已超越通用型運(yùn)算架構(gòu)的處理能力范圍,。未來,極度以數(shù)據(jù)為中心的應(yīng)用須具備專用處理功能,,而裝置間也需要能以開放形式支援獨(dú)立數(shù)據(jù)資源的擴(kuò)充,。
新型態(tài)的機(jī)器學(xué)習(xí)運(yùn)算工作負(fù)載量,將帶動(dòng)這類可擴(kuò)充型架構(gòu)的崛起,,而其中的關(guān)鍵因素必須依靠所有裝置都具備的共通運(yùn)算架構(gòu),,并以持久型記憶體作為主要數(shù)據(jù)儲(chǔ)存;換言之,,所有裝置都能扮演運(yùn)算的角色,,借以提高運(yùn)算能力。所有新一代云端及終端應(yīng)用,,都需要這種新型態(tài)的低能耗處理功能,,因?yàn)榇祟愡\(yùn)算加速處理器能專注于運(yùn)算處理手邊的作業(yè)、避免移動(dòng)數(shù)據(jù)所浪費(fèi)的時(shí)間或執(zhí)行與數(shù)據(jù)無關(guān)的多余運(yùn)算,。透過數(shù)據(jù)的力量,、潛力和可能性,個(gè)人,、社群及整個(gè)世界都將得以更加蓬勃發(fā)展,。