AMD-賽靈思自適應計算挑戰(zhàn)賽已圓滿落幕，本屆挑戰(zhàn)賽歷時半年,，獲得全球FPGA開發(fā)者廣發(fā)關注,。此次大賽要求開發(fā)者們結合自身技術能力,，綜合運用 AMD-賽靈思自適應計算平臺與 Vivado? ML、Vitis? 統(tǒng)一軟件平臺以及 Vitis AI 開發(fā)環(huán)境,，開發(fā)創(chuàng)新創(chuàng)意應用,，解決現(xiàn)實問題。

　　本屆挑戰(zhàn)賽由三大主要賽道構成,，每個賽道最高獎金 10,000 美元：

　　邊緣計算（使用賽靈思 Kria? KV260 視覺入門套件）

　　數(shù)據(jù)中心 AI（使用賽靈思 VCK5000 AI 推斷開發(fā)卡）

　　數(shù)據(jù)中心分析（使用賽靈思Varium? C1100 區(qū)塊鏈加速器）

　　此外,，大賽今年新增了兩個賽道,。一個是“賽靈思大學計劃”,，鼓勵高校學子提交創(chuàng)新項目,，積極參與工程實踐,；另一個是“科技女性”,，旨在號召更多女性開發(fā)者領導與參與技術競賽,，最高獎金均為 2,500 美元,。

　　今年的比賽有來自 35 個國家的 2000 多位個人和團隊報名參賽,，共提交 634 個硬件申請借用項目,，其中 165 個項目經(jīng)評選后成功獲得硬件進行開發(fā),。

　　五個賽道總共產生 14 位獲獎者，獎金總額 70,000 美元,。與去年相比,，入圍比賽的應用數(shù)量增加了 3 倍以上。AMD-賽靈思很高興看到比賽規(guī)模的持續(xù)擴大與參與者的技術熱情,，再次感謝每一位參賽者,。

　　獲獎作品概覽：

　　邊緣計算第一名

　　1. Karp - Kria 自主機器人平臺

　　Jorge Lamperez

　　項目簡介

　　Kria自動機器人平臺 （Karp） 采用 Kria KV260 視覺 AI 入門套件構建。KV260 套件以開箱即用的方式為設計視覺應用提供可負擔,、易于使用的開發(fā)平臺,。作為 Kria K26 SOM 的開發(fā)平臺，KV260專門針對高級視覺應用開發(fā),，而且不需要具備復雜的硬件設計知識,。

　　該項目使用了多種不同的先進技術，如 AMD-賽靈思 FPGA,、Vitis-AI 2.0,、ROS 2、Odrive 電機控制器,、Velodyne 激光雷達等,。Karp高度可定制，方便用戶在這個低成本機器人平臺上開發(fā)自己的應用,。

　　邊緣計算第二名

　　1. PhiGent Heimdallr 雙目視覺雷達方案

　　Phigent Robotics

　　該項目在 KV26 SOM 上實現(xiàn)了基于 CNN 的立體應用,。

　　項目簡介

　　深度估算是自動駕駛領域的一項關鍵技術。為了獲取障礙物的距離信息,，此項技術可以采用包括激光雷達,、單目攝像頭和紅外線在內的各種傳感器實現(xiàn),。作為自動駕駛的最常用傳感器，攝像頭能夠獲取更全面,、豐富而又密集的信息,。基于立體視覺的深度估算技術可以準確識別和定位運動與靜止目標及路面對象,。此外,，它還能夠獲取隨機障礙物的臨界點云深度信息，從而有效降低漏檢率,。

　　隨著卷積神經(jīng)網(wǎng)絡技術的迅猛發(fā)展以及大規(guī)模標準立體數(shù)據(jù)集的問世,，基于神經(jīng)網(wǎng)絡的立體匹配算法得以快速發(fā)展，計算精度與效率均超過了傳統(tǒng)算法,。為了把這種算法應用于自動駕駛,，關鍵是在邊緣設備中部署立體匹配算法。

　　在自動駕駛領域,，作為最合適的人體識別解決方案,，立體視覺解決方案一直獲得大量關注。它可以獲取非?？煽康母呔让芗疃刃畔?。借助強大的特征提取功能，基于深度學習的端到端雙目立體匹配技術能夠確保那些具有弱紋理和重復紋理的對象仍然可以輸出有效的高精度深度信息,，從而滿足智能駕駛系統(tǒng)在各種場景下的感測需求,。此外，通過持續(xù)的數(shù)據(jù)訓練,，神經(jīng)網(wǎng)絡可以獲得更高的準確性,。這些因素使基于 CNN 的立體應用成為 ADAS/AD 的大勢所趨。

　　與 GPU 平臺相比,，F(xiàn)PGA 的優(yōu)勢是功耗低且具有更高的效率與靈活性水平,。FPGA 中的豐富接口使其能夠靈活適應各種自動駕駛場景。

　　在該作品中,，參賽團隊針對基礎數(shù)據(jù)注入演示選用了 KV260 開發(fā)板,，驗證在 ZU5 中部署 CNN 立體應用的可行性。在最終版本中制作了被稱為 heimdallr-DEB 的 ZU5 擴展板,，用于針對實時演示連接 FPGA 與立體攝像頭,。

　　2. 采用邊緣計算的人類-AI 交互式診斷系統(tǒng)

　　All-Nighter Valkyrie

　　這是在 KV260 上創(chuàng)建的、基于深度學習的全新診斷系統(tǒng),，用于參照專家注釋來推斷準確的腫瘤分級,。

　　該項目的目標是設計出原型系統(tǒng),，即：用于肝臟腫瘤分割,、基于邊緣計算設備的人類-AI 交互式診斷系統(tǒng) （HIDE）,。參賽者并未采用常規(guī)的云-客戶端架構，而是將 HIDE 的主要工作流程集成到單個現(xiàn)場可編程門陣列 （FPGA） 電路板,，即 AMD-賽靈思 Kria KV260 視覺 AI 入門套件,，該套件旨在實現(xiàn)交互式數(shù)據(jù)與注釋導入、數(shù)據(jù)存儲,、AI 推斷和輸出圖像可視化等功能,。為了解原型系統(tǒng)的其他優(yōu)勢，參賽者進一步估算了模型的性能與功耗,。

　　KV260 與 Vitis AI 平臺可以為交互式診斷系統(tǒng)主動解決實際難題提供快速解決方案,。根據(jù)該項目團隊的的開發(fā)經(jīng)驗，最大的優(yōu)勢是 AI 工程師/科學家無需具備過多有關 FPGA 計算的知識就能夠將基于 GPU 的深度學習解決方案并行轉換到 KV260,。參賽者認為KV260 具有低時延,、高吞吐量、低能耗等優(yōu)勢,，有很大潛力成為輕量級 AI 應用產前的知名業(yè)務預備平臺,。

　　邊緣計算第三名

　　1. 基于賽靈思 KV260 實現(xiàn)智能家用設備的手勢控制

　　Peter Quinn

　　編譯運行在賽靈思 Kria KV260 上的 PyTorch 預訓練模型，通過 USB 攝像頭進行手勢識別來控制FireTV 手柄,。

　　當今的家庭擁有日益增多的大量智能設備,，而智能家庭監(jiān)控攝像頭日益普及，但是它們生成的視頻大部分未得到利用,，只不過是偶然查看而已,。如果對已經(jīng)生成的此類數(shù)據(jù)進行處理并且把它用于控制 IoT 設備會怎么樣？幸運的是,，利用功能強大的最新邊緣計算設備,，如賽靈思 Kria KV260，此類應用的可行性在日益提高,。

　　在本項目中,，參賽者展示了如何采用賽靈思 KV260 處理輸入視頻，以實現(xiàn)對手勢的實時檢測與分類,，同時展示了如何采用相關預測結果控制智能家居設備,。

　　2. 基于視覺演示學習的自動駕駛小車

　　Chuanhong Guo and Wang Yankui

　　由 KV260 和車前安裝的 USB 攝像頭驅動的模型車。

　　項目簡介

　　很多情況下我們只希望汽車僅完成新場景中的某些特定任務,。在傳統(tǒng)的自動駕駛任務中,，通常需要由激光雷達、攝像頭和其他設備協(xié)調新的行走或巡游任務,。此類解決方案需要針對每個新的環(huán)境對參數(shù)進行調節(jié),，而且靈活性不足。

　　3. Kria 智能監(jiān)控攝像頭

　　Ralph Yamamoto

　　根據(jù)飛行時間傳感器測量的距離切換 AI 檢測模型的智能攝像頭。

　　從本項目開始到結束,，作者在努力嘗試確定哪個設計流程能夠最完美地實現(xiàn)他的設計目標,。最終挑選出三個流程 – PetaLinux、Ubuntu 或者 Ubuntu/PYNQ,。所有這些流程都采用了 AMD-賽靈思的Vitis-AI 和 DPU,。

　　為了使車輛快速適應新的場景，項目作者從演示學習中獲得了靈感,，并利用靈活,、易于收集的視覺數(shù)據(jù)與神經(jīng)網(wǎng)絡執(zhí)行模仿學習。通過這種方法,，我們只需要手動駕駛車輛來收集圖像數(shù)據(jù)與駕駛參數(shù),，用作創(chuàng)建數(shù)據(jù)集和訓練網(wǎng)絡模型的標簽。在應用中,，車輛可以讀取攝像頭數(shù)據(jù),，然后通過模型輸出轉向角度，完成相關任務,。

　　數(shù)據(jù)中心 AI

　　1. 用于8 個臨床檢驗室的即時醫(yī)療圖像分析助手

　　NYCity

　　項目簡介

　　在這個類別里,，開發(fā)者們希望 VCK5000 與 Vitis AI 實現(xiàn)最完美的搭配使用，為 AI 推斷加速,。VCK5000 開發(fā)卡專門針對需要高吞吐量 AI 推斷和信號處理計算性能的設計,。

　　為了準確檢測息肉并減輕醫(yī)生的負擔，開發(fā)團隊使用 VCK5000 開發(fā)板來創(chuàng)建實時息肉檢測系統(tǒng),。該系統(tǒng)最多可實時并行批量處理 8 個息肉分割任務,，同時不劣化多個任務的推斷速度。

　　來自每臺單獨儀器的影像通過網(wǎng)絡傳送給服務器,，隨后,，服務器使用 VCK5000 內置的 DPU 檢測息肉，最后將分割結果回傳給原始儀器,。

　　依托此類結果，醫(yī)生便能夠更清楚地向患者闡述他們的疾病,。而且已標記息肉的手術視頻能夠為學術討論提供寶貴信息,。該團隊希望這一創(chuàng)意和設計能夠為醫(yī)療行業(yè)帶來貢獻，同時也希望能夠幫助醫(yī)生拯救更多生命,。

　　2. 綠色計算：基于Versal 的圖像修復流水線

　　Stefan Blattmann

　　展示基于超越業(yè)界一流計算系統(tǒng)性能的 VCK5000 的低功耗圖像修復流水線,。

　　項目簡介

　　1. 背景

　　該項目作者具有移動測繪經(jīng)歷，因而決定創(chuàng)建一個能夠改進汽車與無人機等移動測繪系統(tǒng)的圖像質量的圖像修復流水線,。移動測繪系統(tǒng)通常用于獲取道路,、城市與基礎設施的 3D 數(shù)據(jù),。大多數(shù)移動系統(tǒng)通常都采用攝像頭與激光掃描儀來獲取 3D 數(shù)據(jù)。由于測繪系統(tǒng)只從一個場景獲取一副圖像,，因此圖像質量至關重要,，所以該項目要創(chuàng)建一個能夠改進圖像質量的處理流水線。并且由于移動測繪的要求非常特殊,，因此也需要創(chuàng)建一個適應移動測繪難題的更常用解決方案。

　　移動測繪應用的另一個要求是能源效率,。大多數(shù)系統(tǒng)的能源都有限,，尤其是無人機。參賽者決定密切關注系統(tǒng)的能耗,。項目作者認為這一點不單單是對移動測繪應用至關重要,，因為云系統(tǒng)耗電量在 2030 年之前幾乎會一直以指數(shù)方式增長。

　　由于 VCK5000 卡常用于數(shù)據(jù)中心應用而非移動測繪車輛,，所以將該項目命名為“綠色計算：基于 Versal 的圖像修復流水線”,。

　　2. 簡介

　　本項目推出一種基于 UNet 卷積網(wǎng)絡的圖像修復處理流水線。圖像流水線是專門面向 Versal VCK5000 卡進行設計的,，同時采用中等規(guī)模 SIDD 數(shù)據(jù)集進行訓練,。整個處理流水線進行優(yōu)化處理，以期在每秒幀數(shù) （FPS） 性能方面實現(xiàn)高效運行,，同時達到基于 GPU 的推斷的準確性,。除了流水線開發(fā)，另外還對 Versal 與 GPU 系統(tǒng)的功耗進行了詳細研究,。該項目的研究重點涵蓋三項不同的要求：

　　· 圖像修復流水線的能耗

　　· 能夠在特定模型精度每秒處理特定幀數(shù)

　　· 可靠推斷時間與可擴展性

　　對圖像修復處理進行訓練,，以消除圖像噪聲。圖像流水線針對智能手機攝像頭圖像進行優(yōu)化,?？尚袘每赡苁腔谠频膱D像增強服務。

　　本項目開發(fā)的 VCK5000 圖像修復流水線在性能 （FPS） 和功耗方面超越最先進的 GPU,。除了性能分析,，詳細分析展示出不同訓練與量化步驟如何影響卷積網(wǎng)絡的準確性。相關分析并不局限于特定模型或網(wǎng)絡,，針對定制應用可以輕松調整所需的步驟,。由 Versal VCK5000 處理的最終網(wǎng)絡進入 paperswithcode 網(wǎng)站 15 強“SIDD 圖像降噪”網(wǎng)絡榜單（2022 年 3 月 30 日）。

　　在網(wǎng)絡優(yōu)化之后對 Versal 系統(tǒng)進行了詳細功率分析,。Versal 系統(tǒng)功耗與基于GPU 的推斷相當,。本項工作的核心是運行時間功耗與推斷性能。訓練與預處理的分析主要取決于訓練數(shù)據(jù)集的規(guī)模（參賽者觀點）,，其不在本項目范圍內,。有關代碼結構的靈感來自AMD-賽靈思 Vitis-AI 教程。所需步驟全部都分配到不同的 Python 或 Shell 腳本。run_all.sh 腳本處理實現(xiàn)整個處理流水線的所有步驟,。

　　3. 基于 VCK5000 的 Deepfakes C-L-I

　　TheMatrix

　　采用 CautionVCK5000 AI 推斷卡加速 Deepfake C-L-I（分類-本地化-推斷）,。

　　項目簡介

　　更好地生成模型和更大的數(shù)據(jù)集已經(jīng)催生出能夠騙過人眼與機器的更真實虛假視頻。如今假新聞的危害已經(jīng)眾所周知,，而在通過社交網(wǎng)絡每天視頻內容觀看時長超過 1 億小時的大背景下,，偽造視頻的傳播正在引起越來越多的關注。

　　由于技術快速增長和計算速度提升,，深度偽造視頻在將來會隨處可見并且可以到處直播,，例如：通過直播新聞頻道以及 Youtube、Twitch,、Instagram 等視頻流網(wǎng)站進行傳播,。

　　有效檢測是阻止深度偽造視頻的惡意傳播與濫用的關鍵。需要在惡意深度偽造視頻擴散失控之前對其進行速度更快的解碼,。

　　本項目的目標是采用賽靈思 VCK5000 AI Versal 卡增強深度偽造推斷,。

　　大數(shù)據(jù)分析

　　1. TRIDENT：硬件實現(xiàn)的 Poseidon哈希算法

　　DatenLord

　　在 FPGA 中實現(xiàn)了用于提高區(qū)塊鏈證明存儲性能的 ZK-SNARK 友好Poseidon 哈希算法。

　　2. 向多重哈希算法的快速 DFX

　　Quarky

　　通過具備快速動態(tài)函數(shù)交換功能的時間分割方法高效計算多重哈希算法,。

　　3. 分散管理的云加速器

　　EdOliver, Victor Altamirano, Alejandro Sanchez

　　采用賽靈思 Varium C1100 在 Flux 上加快區(qū)塊鏈傳輸系統(tǒng),。

　　科技女性（WIT）

　　1. 用于自動注射的肌內部位檢測

　　Team J-Eye: Runxi Wang, Yuqi Gu, Xinfei Guo

　　本項目探索一種用于檢測肌內注射部位的低成本解決方案，以實現(xiàn)新一代自動疫苗注射,。

　　項目簡介

　　COVID-19 疫情仍然在全球肆虐,。它影響到人類生活的眾多方面，而且給公共健康,、全球運輸系統(tǒng)以及眾多領域帶來了前所未有的挑戰(zhàn),。大多數(shù)政府都實施了封鎖政策并且限制國際旅行，以緩解病毒傳播,。盡管還不存在能夠抗擊病毒的靈丹妙藥,，不過接種疫苗目前仍然是降低病毒的死亡率與發(fā)病率的最有效方法之一。

　　但是,，全球疫苗接種率仍然較低,，尤其是在低收入國家，因為其醫(yī)療資源與資金有限,。提供低成本疫苗接種解決方案迫切而又極具挑戰(zhàn),。疫苗開發(fā)本身就成本高昂，而且另一個昂貴的成分是疫苗接種本身,，其需要各類附加資源,。此外，傳統(tǒng)疫苗接種可能會增加病毒傳播的風險,，而且毋庸置疑也會增加醫(yī)護人員的工作量,。

　　總而言之,，當前臨床需求表明，在持續(xù)疫情仍不斷帶來威脅而且全球社會實施前所未有的措施（包括社交疏離與封鎖）的時期迫切需要安全,、充足的疫苗覆蓋,。

　　“在這個項目中,，我們提出了J-Eye,，一種基于Xilinx KV260板的低成本2D視覺-人工智能輔助肌肉注射部位檢測方案。最終目標是推動開發(fā)新一代自動疫苗注射應用,。

　　在這里,，我們的目標是利用Xilinx提供的強大工具套件,，在KV260上構建一個低成本的注射部位檢測應用程序,。我們還旨在探索使用輕量級AI模型的2D目標檢測/定位技術的能力,，該模型可以在FPGA板上輕松實現(xiàn)?！?—— Team J-Eye

　　賽靈思大學計劃 （XUP）

　　1. 面向智慧城市的一體化自適應計算平臺

　　Yufan Lu

　　可以根據(jù)模型規(guī)模,、處理分支、推斷間隔和硬件配置實時動態(tài)調整性能,。

　　項目簡介

　　在本次項目中,，作者基于 KV260 SoM 設計出了靈活的視頻處理框架，其可以用于智慧城市智能交通運輸系統(tǒng) （ITS） 所使用的智能攝像頭應用,。該框架不但能夠利用語義分割與道路標線檢測網(wǎng)絡自動檢測應用場景（如：車輛或行人）,，而且還可以自動針對相關應用場景自動選擇最佳 DNN 模型。得益于具有動態(tài)可重新配置功能與運行時間管理 API,，該系統(tǒng)在運行時間無需停止視頻流水線即可動態(tài)切換 DNN 推斷模型,。因此此款智能攝像頭系統(tǒng)最終擁有真正的自適應性，而且能夠以更聰慧的方式達到最高性能,。