隨著新技術(shù)的成熟,，新型的先進(jìn)應(yīng)用將來(lái)自5G,、人工智能（AI）和物聯(lián)網(wǎng)（IoT）的融合，這種融合將創(chuàng)造出一個(gè)智能互聯(lián)的全新未來(lái),，對(duì)所有個(gè)人,、行業(yè)、社會(huì)和經(jīng)濟(jì)產(chǎn)生積極影響,。Arm預(yù)計(jì)到2035年將有1萬(wàn)億的物聯(lián)網(wǎng)設(shè)備,，在這些設(shè)備上實(shí)現(xiàn)本地人工智能，是人工智能應(yīng)用的必然趨勢(shì),。而要做到這一點(diǎn),，必須進(jìn)一步降低人工智能的算力成本。
為此,，Arm中國(guó)自主研發(fā)了“周易”平臺(tái)這樣一個(gè)適配性強(qiáng),、開放通用的人工智能平臺(tái)，其主要包括軟件框架Tengine和全新的硬件處理器--人工智能處理單元（AIPU）,，其中Tengine軟件框架針對(duì)邊緣設(shè)備的推理做了深度優(yōu)化和實(shí)現(xiàn),。周易平臺(tái)也支持Arm CPU、Mali GPU以及第三方硬件,，專注于邊緣推理,，能夠提高人工智能應(yīng)用開發(fā)的生產(chǎn)效率,。
圖1 :人工智能平臺(tái)“周易”概述
全新處理器單元（AIPU）提供硬件核“芯”
人工智能通常用于不同的場(chǎng)景，而深度學(xué)習(xí)模型會(huì)使用到各種類型的操作（layer）,。目前常見的加速器解決方案具有較高性能,，但僅支持有限的操作，這使得只能運(yùn)行有限的人工智能應(yīng)用,，限制了邊緣和AIoT產(chǎn)品的多樣性,，AIPU憑借良好的可編程性可以支持現(xiàn)在的全部深度學(xué)習(xí)操作。
周易人工智能處理單元（AIPU）是一個(gè)專門用于深度學(xué)習(xí)處理的全新硬件IP,。這種新的架構(gòu)設(shè)計(jì)了人工智能特定域張量指令集（Tensor Instructions）,、針對(duì)AI特定操作的指令集擴(kuò)展以及定制的硬件加速單元、以及用于NN計(jì)算所必需的通用標(biāo)量指令集,。憑借最先進(jìn)的設(shè)計(jì)，AIPU可以實(shí)現(xiàn)人工智能應(yīng)用的完全可編程性和很好的能效,。除了AIPU,，還有完整的AI軟件開發(fā)工具包，支持AI算法可以在AIPU上輕松部署,。
圖2 ：周易AIPU框圖
AIPU采用了可配置的設(shè)計(jì),，張量執(zhí)行單元（TEC）的數(shù)量和AI硬件加速單元能都是靈活可配置的，這使得周易平臺(tái)能夠涵蓋從微控制器（幾十GOPS）到高端邊緣計(jì)算（幾個(gè)TOPS）的不同算力需求,。
對(duì)于新開發(fā)的芯片,，周易平臺(tái)可以讓芯片合作伙伴使用周易AIPU IP設(shè)計(jì)新的SoC，并提供了驗(yàn)證測(cè)試向量,、參考用例和后端實(shí)現(xiàn)參考流程等全面支持,，以加速新的SoC設(shè)計(jì)；同時(shí),，周易AIPU 仿真軟件用于軟件應(yīng)用程序前期開發(fā),。這將大大加快新人工智能產(chǎn)品的上市時(shí)間。
開放式人工智能軟件框架--Tengine
周易平臺(tái)采用Tengine作為開放式人工智能軟件框架,，它的目標(biāo)是建立一個(gè)統(tǒng)一的推理框架,，通過定義標(biāo)準(zhǔn)的Tengine API，人工智能應(yīng)用程序可以使用標(biāo)準(zhǔn)API在不同的硬件上部署,，大大節(jié)省了移植或者在特定的硬件上進(jìn)行優(yōu)化的工作量,。Tengine支持主流的人工智能框架，如TensorFlow / Caffe / ONNX / MXNet等模型,。
Tengine定義了標(biāo)準(zhǔn)硬件抽象級(jí)別（HAL）,，以支持物聯(lián)網(wǎng)設(shè)備中可能存在的不同類型的計(jì)算模塊。它已經(jīng)支持像Cortex-A7 / A17 / A53 / A55 / A72 / A76這些的流行Arm CPU,，也支持像Mali-T860,、G51和G72這些廣受歡迎的Arm Mali GPU,。由于周易平臺(tái)是一個(gè)開放平臺(tái)，它也可以支持第三方CPU,、DSP或加速器,，通過選用設(shè)備驅(qū)動(dòng)程序來(lái)支持這些設(shè)備。在庫(kù)方面,，可以選用Arm計(jì)算庫(kù)（Arm Compute Library,，ACL）、異構(gòu)計(jì)算庫(kù)（HCL）,、開放源代碼庫(kù)（例如OpenBLAS）或是用戶自己實(shí)現(xiàn)的庫(kù)來(lái)驅(qū)動(dòng),。
三大創(chuàng)新特性，強(qiáng)勢(shì)賦能AIoT市場(chǎng)
實(shí)際上,，周易平臺(tái)作為人工智能應(yīng)用的整體解決方案,，十分簡(jiǎn)單易用，并且實(shí)現(xiàn)了三大創(chuàng)新,。兼容性上,，它不僅提供了一個(gè)完整的易于使用的工具鏈，支持從深度學(xué)習(xí)模型到周易可執(zhí)行文件的一鍵構(gòu)建,，還支持常見的人工智能框架,，如Google TensorFlow和其他框架。同時(shí),，周易平臺(tái)支持Linux和Android操作系統(tǒng),，甚至裸機(jī)軟件（bare-metal software），從非常小的嵌入式微控制器到高端邊緣網(wǎng)關(guān)的各種設(shè)備都能適用,。
周易平臺(tái)還將更強(qiáng)的安全性引入市場(chǎng),，安全擴(kuò)展硬件和相關(guān)的信任軟件可以保護(hù)人工智能資產(chǎn)，例如算法,、代碼和數(shù)據(jù),，幫助合作伙伴保護(hù)運(yùn)行在已部署產(chǎn)品上的資產(chǎn)，并保護(hù)人工智能算法安全的在線更新,。周易平臺(tái)的安全擴(kuò)展為人工智能應(yīng)用中需要保護(hù)的資產(chǎn)建立了一個(gè)可信執(zhí)行環(huán)境（TEE）,，通過靜態(tài)加密存儲(chǔ)、運(yùn)行時(shí) TrustZone技術(shù)保護(hù),，以及SoC中用于安全隔離一系列小的硬件組件,， 為人工智能芯片提供360度的安全保護(hù)。
適用性上,，周易平臺(tái)也支持在現(xiàn)存設(shè)備的上進(jìn)行部署,。通過統(tǒng)一的軟件界面，許多人工智能應(yīng)用可以直接部署在SoC上,，合作伙伴只需重新編譯基于目標(biāo)設(shè)備CPU的周易軟件,，生成可在現(xiàn)有SoC架構(gòu)上運(yùn)行的目標(biāo)代碼,，然后鏈接CPU庫(kù)和GPU庫(kù)。通過部署周易平臺(tái),，人工智能性能可以提高2.5 - 5倍,。
綜上所述，Arm中國(guó)人工智能平臺(tái)周易可以幫助產(chǎn)業(yè)合作伙伴大幅降低人工智能算力,、芯片和應(yīng)用的成本,、讓其設(shè)計(jì)和制造具有強(qiáng)大人工智能能力的芯片，并讓人工智能應(yīng)用程序開發(fā)人員大大提高工作效率,，在更多的物聯(lián)網(wǎng)設(shè)備上實(shí)現(xiàn)人工智能,，極大地賦能整個(gè)AIoT市場(chǎng)。