《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計(jì) > 業(yè)界動(dòng)態(tài) > 越來越卷的AI,,“X”PU的各有所長

越來越卷的AI,,“X”PU的各有所長

2022-10-26
來源:半導(dǎo)體產(chǎn)業(yè)縱橫
關(guān)鍵詞: AI 處理器 芯片

AI運(yùn)算指以“深度學(xué)習(xí)” 為代表的神經(jīng)網(wǎng)絡(luò)算法,需要系統(tǒng)能夠高效處理大量非結(jié)構(gòu)化數(shù)據(jù)(文本、視頻,、圖像、語音等) ,。需要硬件具有高效的線性代數(shù)運(yùn)算能力,,計(jì)算任務(wù)具有:單位計(jì)算任務(wù)簡單,邏輯控制難度要求低,,但并行運(yùn)算量大,、參數(shù)多的特點(diǎn)。對于芯片的多核并行運(yùn)算,、片上存儲(chǔ),、帶寬、低延時(shí)的訪存等提出了較高的需求,。

AI應(yīng)用場景的豐富帶來眾多碎片化的需求,,基于此適配各種功能的處理器不斷衍生。

CPU

CPU即中央處理器(Central Processing Unit),,作為計(jì)算機(jī)系統(tǒng)的運(yùn)算和控制核心,,主要負(fù)責(zé)多任務(wù)管理、調(diào)度,,具有很強(qiáng)的通用性,,是計(jì)算機(jī)的核心領(lǐng)導(dǎo)部件,好比人的大腦,。不過其計(jì)算能力并不強(qiáng),,更擅長邏輯控制。

正是因?yàn)镃PU的并行運(yùn)算能力不是很強(qiáng),,所以很少有人優(yōu)先考慮在 CPU 上直接訓(xùn)練模型,。不過芯片巨頭英特爾就選擇了這么一條路。

像英特爾? 至強(qiáng)? 可擴(kuò)展處理器這種 AI build-in 的 CPU 在支持模型訓(xùn)練上已經(jīng)有了極大地提升,,去年由萊斯大學(xué),、螞蟻集團(tuán)和英特爾等機(jī)構(gòu)的研究者發(fā)表的一篇論文中表明,,在消費(fèi)級(jí) CPU 上運(yùn)行的 AI 軟件,其訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的速度是 GPU 的 15 倍,,另外相比顯存 CPU 的內(nèi)存更易擴(kuò)展,,很多推薦算法、排序模型,、圖片 / 影像識(shí)別等應(yīng)用,,已經(jīng)在大規(guī)模使用 CPU 作為基礎(chǔ)計(jì)算設(shè)備。

相比價(jià)格高昂的 GPU,,CPU 其實(shí)是一種性價(jià)比很高的訓(xùn)練硬件,,也非常適合對結(jié)果準(zhǔn)確度要求高兼顧成本考量的制造業(yè)、圖像處理與分析等行業(yè)客戶的深度學(xué)習(xí)模型,。

GPU

GPU即圖形處理器(Graphics Processing Unit),,采用數(shù)量眾多的計(jì)算單元和超長的流水線,擅長進(jìn)行圖像處理,、并行計(jì)算,。

對于復(fù)雜的單個(gè)計(jì)算任務(wù)來說,CPU 的執(zhí)行效率更高,,通用性更強(qiáng),;而對于圖形圖像這種矩陣式多像素點(diǎn)的簡單計(jì)算,更適合用 GPU 來處理,,也有人稱之為人海戰(zhàn)術(shù),。而AI 領(lǐng)域中用于圖像識(shí)別的深度學(xué)習(xí)、用于決策和推理的機(jī)器學(xué)習(xí)以及超級(jí)計(jì)算都需要大規(guī)模的并行計(jì)算,,因此更適合采用 GPU 架構(gòu),。

CPU和GPU還有一個(gè)很大的區(qū)別就是:CPU可單獨(dú)作用,處理復(fù)雜的邏輯運(yùn)算和不同的數(shù)據(jù)類型,,但當(dāng)需要處理大量類型統(tǒng)一的數(shù)據(jù)時(shí),,則可調(diào)用GPU進(jìn)行并行計(jì)算,。但GPU無法單獨(dú)工作,,必須由CPU進(jìn)行控制調(diào)用才能工作。

在AI計(jì)算領(lǐng)域英偉達(dá)的GPU幾乎占到市場的絕大部分,,但近幾年也有不少國產(chǎn)企業(yè)進(jìn)軍高端GPU,,比如沐曦首款采用7nm工藝的異構(gòu)GPU產(chǎn)品已流片、壁仞前不久也發(fā)布了單芯片峰值算力達(dá)到PFLOPS級(jí)別的BR100,,還有燧原科技,、黑芝麻、地平線等公司都在向高端GPU發(fā)力,。

DPU

DPU即數(shù)據(jù)處理器(Data Processing Unit),,用于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò),,廣泛應(yīng)用于加速深度學(xué)習(xí)推理算法。

當(dāng)CPU算力釋放遇瓶頸,,DPU能夠卸載 CPU 的基礎(chǔ)層應(yīng)用(如網(wǎng)絡(luò)協(xié)議處理,、加密解密、數(shù)據(jù)壓縮等),,從而釋放CPU低效應(yīng)用端的算力,,將CPU算力集中在上層應(yīng)用。區(qū)別于GPU,,DPU主要用于對數(shù)據(jù)解析與處理,,提高數(shù)據(jù)接發(fā)的效率,而GPU則是專注于數(shù)據(jù)的加速計(jì)算,。因此,,DPU將有望成為釋放CPU算力新的關(guān)鍵芯片,并與CPU,、GPU形成優(yōu)勢互補(bǔ),,提高算力天花板。

DPU還具有高性能網(wǎng)絡(luò)接口,,能以線速或網(wǎng)絡(luò)中的可用速度解析,、處理數(shù)據(jù),并高效地將數(shù)據(jù)傳輸?shù)紾PU和CPU,。

英偉達(dá)收購Mellanox后,,憑借原有的ConnectX系列高速網(wǎng)卡技術(shù),推出其 BlueField系列DPU,,成為DPU賽道的標(biāo)桿,。英偉達(dá)首席執(zhí)行官黃仁勛也曾表示:“ DPU 將成為未來計(jì)算的三大支柱之一,未來的數(shù)據(jù)中心標(biāo)配是‘ CPU + DPU + GPU ’,。CPU 用于通用計(jì)算,, GPU 用于加速計(jì)算, DPU 則進(jìn)行數(shù)據(jù)處理,?!?/p>

當(dāng)下的DPU的市場,已經(jīng)成為各個(gè)巨頭和初創(chuàng)公司的必爭之地,,除英偉達(dá)等企業(yè)開始布局DPU產(chǎn)業(yè)外,,阿里巴巴、華為在內(nèi)的各大云服務(wù)商也逐漸躋身DPU行業(yè),。其他還有芯啟源,、大禹智芯、星云智聯(lián),、中科馭數(shù),、云豹智能等公司,。

TPU

TPU:張量處理器(Tensor Processing Unit)是谷歌專門為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的ASIC 芯片,專用機(jī)器學(xué)習(xí)的人工智能加速處理器,。

AI 系統(tǒng)通常涉及訓(xùn)練和推斷過程,。簡單來說,訓(xùn)練過程是指在已有數(shù)據(jù)中學(xué)習(xí),,獲得某些能力的過程,;而推理過程則是指對新的數(shù)據(jù),使用這些能力完成特定任務(wù)(比如分類,、識(shí)別等),;推理是將深度學(xué)習(xí)訓(xùn)練成果投入使用的過程。

有老話言:萬能工具的效率永遠(yuǎn)比不上專用工具,。TPU與同期的CPU和GPU相比,,可以提供15-30倍的性能提升,以及30-80倍的效率(性能/瓦特)提升,。此外,,在 TPU 中采用 GPU 常用的 GDDR5 存儲(chǔ)器能使性能TPOS指標(biāo)再高 3 倍,并將能效比指標(biāo) TOPS/Watt 提高到 GPU 的 70 倍,,CPU 的 200 倍,。

2016年 TPU 消息剛剛公布時(shí),谷歌資深硬件工程師Norman  Jouppi 在谷歌Research 博客中特別提到,,TPU 從測試到量產(chǎn)只用了 22 天,,其性能把人工智能技術(shù)往前推進(jìn)了差不多 7 年,相當(dāng)于摩爾定律 3 代的時(shí)間,。

IPU

IPU:圖像處理單元(Intelligent Processing Unit),,可以從圖像傳感器到顯示設(shè)備的數(shù)據(jù)流提供全面支持,連接到相關(guān)設(shè)備,,比如:攝像機(jī),、顯示器、圖形加速器,、電視編碼器和解碼器,。相關(guān)圖像處理與操作包括傳感器圖像信號(hào)處理、顯示處理,、圖像轉(zhuǎn)換等,,以及同步和控制功能。 采用的是大規(guī)模并行同構(gòu)眾核架構(gòu),,同時(shí)將訓(xùn)練和推理合二為一,為AI計(jì)算提供了全新的技術(shù)架構(gòu),,兼具處理二者工作的能力,。

IPU是英國AI芯片創(chuàng)業(yè)公司Graphcore率先提出的概念,,Graphcore的第一代IPU如今已在微軟Azure云以及Dell-EMC服務(wù)器中使用,為AI算法帶來了飛躍性的性能提升,,也為開發(fā)者帶來更廣闊的創(chuàng)新空間及更多創(chuàng)新機(jī)會(huì),。

目前,IPU正在成為僅次于GPU和谷歌TPU的第三大部署平臺(tái),,基于IPU的應(yīng)用已經(jīng)覆蓋包括自然語言處理,、圖像/視頻處理、時(shí)序分析,、推薦/排名及概率模型等機(jī)器學(xué)習(xí)的各個(gè)應(yīng)用場景,。

2021年,英特爾推出了IPU技術(shù),,近日又和谷歌共同設(shè)計(jì)了新型定制基礎(chǔ)設(shè)施處理單元(IPU)芯片 E2000 ,,代號(hào)為“Mount Evans”,以降低數(shù)據(jù)中心主 CPU 負(fù)載,,并更有效和安全地處理數(shù)據(jù)密集型云工作負(fù)載,。

NPU

CPU和GPU的制造成本較高,功耗也比較大,,加之AI場景下需要運(yùn)算的數(shù)據(jù)量與日俱增,,一種針對神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的高效智能處理器應(yīng)運(yùn)而生,也就是NPU,。

NPU即神經(jīng)網(wǎng)絡(luò)處理器(Neural network Processing Unit),,它是用電路模擬人類的神經(jīng)元和突觸結(jié)構(gòu)。用于加速神經(jīng)網(wǎng)絡(luò)的運(yùn)算,,解決傳統(tǒng)芯片在神經(jīng)網(wǎng)絡(luò)運(yùn)算時(shí)效率低下的問題,,特別擅長處理視頻、圖像類的海量多媒體數(shù)據(jù),。

與CPU,、GPU處理器運(yùn)行需要的數(shù)千條指令相比,NPU只要一條或幾條就能完成,,且在同等功耗下NPU 的性能可以達(dá)到 GPU 的 118 倍,,因此在深度學(xué)習(xí)的處理效率方面優(yōu)勢明顯。NPU 目前較多地在端側(cè)應(yīng)用于 AI 推理計(jì)算,,在云端也有大量運(yùn)用于視頻編解碼運(yùn)算,、自然語言處理、數(shù)據(jù)分析,,部分NPU還能運(yùn)用于 AI 的訓(xùn)練,。

比如在手機(jī)SoC中,CPU是負(fù)責(zé)計(jì)算和整體協(xié)調(diào)的,,而GPU是負(fù)責(zé)和圖像有關(guān)的部分,,NPU負(fù)責(zé)和AI有關(guān)的部分,,其工作流程則是,任何工作都要先通過CPU,,CPU再根據(jù)這一塊工作的性質(zhì)來決定分配給誰,。如果是圖形方面的計(jì)算,就會(huì)分配給GPU,,如果是AI方面的計(jì)算需求,,就分配給NPU。

NPU具體的應(yīng)用有:基于人臉識(shí)別的考勤機(jī),、基于 DHN(深度哈希網(wǎng)絡(luò))的掌紋識(shí)別,、基于圖像分類的自動(dòng)垃圾分類、自動(dòng)駕駛汽車,、自動(dòng)跟焦攝像機(jī),、監(jiān)視系統(tǒng)等。

2014年中科院的陳天石科研團(tuán)隊(duì)發(fā)表了 DianNao 系列論文,,隨即席卷了體系結(jié)構(gòu)界,,開啟了專用人工智能芯片設(shè)計(jì)的先河,后來中科院旗下的寒武紀(jì)科技推出了其第一代 NPU 寒武紀(jì) 1A,,并用在了華為麒麟 970 芯片中,,華為也推出了自研的基于 DaVince 架構(gòu)的 NPU ,阿里則推出了“含光”架構(gòu)的 NPU ,。

隨著芯片構(gòu)造方式的變化,,大量異構(gòu)處理器方案也不斷衍生,每個(gè)芯片都對處理器性能,、優(yōu)化目標(biāo),、所需的數(shù)據(jù)吞吐量以及數(shù)據(jù)流做出了不同的選擇。在這幾大類處理器芯片中,,IPU與DPU發(fā)展速度領(lǐng)先,。隨著5G邊緣云、自動(dòng)駕駛和車路協(xié)同,、金融計(jì)算等帶來越來越多的數(shù)據(jù)量,,各種“X”PU的市場價(jià)值都在不斷攀升。



更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。