邊緣AI應(yīng)用正處于大規(guī)模落地的前夕,，巨大的IoT市場(chǎng)和革命性的AI技術(shù)產(chǎn)生的劇烈交互將帶來(lái)前所未有的應(yīng)用革命和商業(yè)機(jī)會(huì),。那么在邊緣設(shè)備部署AI應(yīng)用的瓶頸都有哪些？

　　n有人有現(xiàn)成的芯片和應(yīng)用場(chǎng)景,，卻為缺乏算法和平臺(tái)苦惱,。

　　n有人有自己的算法，卻為缺乏一個(gè)好用的嵌入式跨平臺(tái)框架而苦惱,。

　　n有人有自己的算法和硬件平臺(tái),，卻為嵌入式平臺(tái)有限算力苦惱。

　　OPEN AI LAB看到了業(yè)界痛點(diǎn),，順應(yīng)市場(chǎng)需求推出了專為嵌入式平臺(tái)設(shè)計(jì)的AI推理框架——Tengine,。

　　專門針對(duì)Arm嵌入式設(shè)備優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理引擎

　　OPEN AI LAB于2016年12月成立，由Arm中國(guó)聯(lián)合產(chǎn)業(yè)伙伴發(fā)起,，致力于推動(dòng)芯片,、硬件、算法,、軟件整個(gè)產(chǎn)業(yè)鏈的深度合作,，加速人工智能產(chǎn)業(yè)化應(yīng)用部署和應(yīng)用場(chǎng)景邊界拓展。Tengine便是一款輕量級(jí)模塊化高性能的神經(jīng)網(wǎng)絡(luò)推理引擎,，專門針對(duì)Arm嵌入式設(shè)備優(yōu)化,。完美支持Arm平臺(tái)，支持Arm Cortex CPU,，Arm Mali GPU,，Arm DLA，第三方DSP,，堪稱兼容“全能王”,。

　　而開(kāi)發(fā)者可以使用Tengine一網(wǎng)打盡主流框架模型和嵌入式操作系統(tǒng)，還能異構(gòu)調(diào)度平臺(tái)里的各類硬件,，充分利用硬件算力,。此外，Tengine還提供了常見(jiàn)AI應(yīng)用算法,，包括圖像檢測(cè),，人臉識(shí)別,，語(yǔ)音識(shí)別等。不懂AI沒(méi)關(guān)系,，上手就能跑AI應(yīng)用,。Tengine同時(shí)還支持各類常見(jiàn)卷積神經(jīng)網(wǎng)絡(luò)，包括SqueezeNet,，MobileNet,，AlexNet，ResNet等,，支持層融合,、8位量化等優(yōu)化策略。并且通過(guò)調(diào)用針對(duì)不同CPU微構(gòu)架優(yōu)化的HCL庫(kù),，將Arm CPU的性能充分挖掘出來(lái),。

　　Tengine的“發(fā)動(dòng)機(jī)”——HCL計(jì)算庫(kù)

　　有人說(shuō)NCNN是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，從設(shè)計(jì)之初深刻考慮手機(jī)端的部署和使用,。在過(guò)去,，NCNN確實(shí)是這樣的，只是那時(shí)候還沒(méi)有Tengine,。

　　現(xiàn)在,，HCL計(jì)算庫(kù)作為Tengine的插件,，是性能最快的Arm CPU NN計(jì)算庫(kù),，并且支持動(dòng)態(tài)8位量化計(jì)算，精度幾乎不變,，相比于NCNN最快能帶來(lái)2-3倍的性能提升,，內(nèi)存使用減少為三分之一。

　　*Tengine性能數(shù)據(jù)A72,，A53性能基于RK3399平臺(tái)測(cè)試,，A17性能基于RK3288平臺(tái)測(cè)試

　　NCNN數(shù)據(jù)為2018年9月7日

　　*采用ILSVRC2012_VAL數(shù)據(jù)集測(cè)試5000張圖片得到量化精度測(cè)試結(jié)果如下

　　Tengine + HCL，不同人群的量身定制

　　Tengine作為AI 應(yīng)用框架,，不僅對(duì)上層應(yīng)用提供推理API接口,，支持主流模型與格式，還在下層定義硬件接口,，適配嵌入式平臺(tái)各類計(jì)算模塊,，此外支持同時(shí)運(yùn)行多個(gè)AI應(yīng)用算法以及調(diào)用多個(gè)計(jì)算模塊計(jì)算。因此,，Tengine的面世對(duì)AI開(kāi)源生態(tài)具有里程碑的意義,。有了Tengine，應(yīng)用和算法廠商可以擺脫復(fù)雜的嵌入式平臺(tái)適配工作,，配合HCL直接挖掘硬件的全部潛能,；有了Tengine,，芯片廠能夠站在Arm 嵌入式AI生態(tài)的肩膀上，以最快的速度順利將芯片推向市場(chǎng),，在邊緣AI應(yīng)用中部署,。作為OPEN AI  LAB為邊緣AI應(yīng)用部署開(kāi)發(fā)的兩大利器，Tengine + HCL將助力嵌入式人工智能產(chǎn)業(yè)加速向前推進(jìn),，為最終實(shí)現(xiàn)萬(wàn)物智能貢獻(xiàn)力量,。