0 引言

    基于NVIDIA Jetson TX2的車輛跟蹤系統(tǒng)設(shè)計(jì)與以往的車輛跟蹤系統(tǒng)設(shè)計(jì)有很大的不同，在本設(shè)計(jì)中實(shí)現(xiàn)超高清4K視頻實(shí)時(shí)編碼和傳輸,，在視頻編碼中使用了高效率視頻編碼(High Efficiency Video Coding,，HEVC)，HEVC在相同的主觀條件下與H.264/AVC相比,編碼碼率可以節(jié)省50% 以上^[1],。硬件編碼器編碼速率也要比PC端x265編碼器大超過3個(gè)數(shù)量級^[2],。因此，本設(shè)計(jì)的跟蹤系統(tǒng)更加能適用于以后的智能交通發(fā)展,。

    本設(shè)計(jì)充分利用了HEVC編碼的優(yōu)勢來為后續(xù)的檢測跟蹤帶來優(yōu)質(zhì)的視頻資料,，再利用Yolo V2、Meanshift,、Kalman算法實(shí)現(xiàn)對車輛的準(zhǔn)確跟蹤,。同時(shí)，在檢測跟蹤的質(zhì)量和實(shí)時(shí)性方面也能夠滿足目前市場的應(yīng)用需求,。

1 開發(fā)平臺(tái)介紹

1.1 硬件平臺(tái)

    2017年3月8日,，NVIDIA發(fā)布了Jetson TX2，Jetson TX2作為Jetson TX1的升級版與TX1相比最大的性能優(yōu)勢就是采用了NVIDIA最新研發(fā)的Tegra Parker處理器^[3],。在前代的基礎(chǔ)上增加了2個(gè)自主研發(fā)的NVIDIA Denver 2 CPU核心,，能夠支持實(shí)時(shí)超高清視頻編解碼。它具備Jetson TX1模塊的所有功能^[4],。因其強(qiáng)大的性能,、低功耗、外形小巧,，非常適合基于嵌入式的多媒體領(lǐng)域,。

1.2 軟件平臺(tái)

    Jetson TX2的軟件平臺(tái)包含了很多種標(biāo)準(zhǔn)硬件接口，可以在包含高性能計(jì)算與低功耗的應(yīng)用場合下更方便靈活地進(jìn)行平臺(tái)擴(kuò)展和設(shè)計(jì),。該軟件平臺(tái)由內(nèi)核,、根文件、應(yīng)用軟件等構(gòu)成,。

2 系統(tǒng)實(shí)現(xiàn)

2.1 環(huán)境搭建

    先搭建 Jetson TX2的開發(fā)環(huán)境,。本文所使用的開發(fā)環(huán)境為：PC使用64位Ubuntu 16.04操作系統(tǒng)，Jetson SDK 的版本為Jet Pack 3.2,。首先在Ubuntu主機(jī)端運(yùn)行Jetson SDK,，進(jìn)行下載工作，再進(jìn)行燒寫,，最后檢驗(yàn)Jetson TX2上的系統(tǒng)開發(fā)環(huán)境是否已經(jīng)搭建完畢^[5],。

2.2 系統(tǒng)設(shè)計(jì)

    設(shè)計(jì)并實(shí)現(xiàn)了NVIDIA嵌入式平臺(tái)上的車輛跟蹤檢測系統(tǒng),，系統(tǒng)總體框圖如圖1所示。

    利用Jetson TX2的板載相機(jī)獲取YUV420格式幀率為60 f/s的視頻數(shù)據(jù),，送給Tegra Parker的硬件HEVC編碼器將其壓縮為H265碼流,；對輸出碼流進(jìn)行實(shí)時(shí)傳輸協(xié)議(Real-time Transport Protocol，RTP)打包,，打包完成后通過用戶數(shù)據(jù)報(bào)協(xié)議(User Datagram Protocol,，UDP)廣播發(fā)送，然后進(jìn)行接收和解碼,。根據(jù)設(shè)計(jì)功能的需求,，本設(shè)計(jì)的車輛圖像處理算法主要分為兩部分，第一部分是對視頻中的車輛進(jìn)行檢測操作,，使用的是Yolo V2檢測算法,；第二部分是在檢測到的車輛基礎(chǔ)上進(jìn)行跟蹤操作，跟蹤的算法使用的是Kalman位置預(yù)測與Meanshift跟蹤相配合的方法^[6],。

2.3 功能模塊實(shí)現(xiàn)

2.3.1 獲取視頻數(shù)據(jù)

    本文選擇利用Argus來獲取原始視頻數(shù)據(jù),，Argus可以輸出EGL-Stream圖像數(shù)據(jù)或者DMA Buffer文件描述符，可以把DMA Buffer看做一塊共享內(nèi)存,。Argus還可以調(diào)用ISP進(jìn)行圖像的去噪,、邊緣增強(qiáng)等圖像預(yù)處理工作。本文利用Argus捕獲視頻數(shù)據(jù)的流程圖如圖2所示,。

2.3.2 HEVC編碼器配置

    Tegra Parker處理器內(nèi)有一個(gè)視頻編碼器,，相對于H.264在同等清晰度的前提下少一半的碼率，從而節(jié)省存儲(chǔ)空間和帶寬,，可以減少投入的成本,，而速度是其200倍以上，且能夠支持幀率為60 f/s的HEVC實(shí)時(shí)編碼^[7],。存儲(chǔ)設(shè)計(jì)視頻編碼器的輸入輸出的緩存隊(duì)列長度都設(shè)置為10,。HEVC視頻編碼器只支持YUV420M的格式，輸入緩存隊(duì)列使用存儲(chǔ)于DMAbuffer的視頻數(shù)據(jù),，輸出的緩存隊(duì)列輸出CPUbuffer,。流程圖如圖3所示。

2.3.3 RTP封裝

    H.265碼流RTP協(xié)議是一種實(shí)時(shí)傳輸標(biāo)準(zhǔn),，其設(shè)計(jì)的目的是為了支持網(wǎng)絡(luò)實(shí)時(shí)傳輸服務(wù)^[8],。H.265碼流由NALU序列組成，RTP協(xié)議封裝和傳輸H.265碼流實(shí)際上就是NALU的封裝和傳輸,。鏈路層的載荷數(shù)據(jù)有最大傳輸單元限制,，當(dāng)傳輸?shù)臄?shù)據(jù)超過這個(gè)最大輸出單元時(shí)，將無法進(jìn)行正常的傳輸,，按照以太網(wǎng)對RTP包大小的限制,，正常情況下不能超過1 472 B,，超過1 472 B后將無法正常進(jìn)行傳輸^[9]。

2.3.4 上位機(jī)取流解碼 

    本設(shè)計(jì)利用Gstreamer來開發(fā)接收,、解碼,、播放程序^[10]。Gstreamer程序從網(wǎng)口接收RTP數(shù)據(jù)包,，接收到數(shù)據(jù)包之后傳送到HEVC上進(jìn)行軟件解碼后播放顯示,。UDP接收RTP數(shù)據(jù)包，進(jìn)行解包,，經(jīng)過解包后的數(shù)據(jù)為H.265原始碼流^[11],，利用H265parse對碼流分析,，再將H.265原始碼流送給avdec_H265解碼,。最后，將解碼后的視頻數(shù)據(jù)送到xvimagesink實(shí)現(xiàn)視頻播放,。

2.3.5 車輛的檢測與跟蹤

    針對之前一系列處理得到的視頻影像,，需要進(jìn)行算法程序的操作，對視頻中的汽車先進(jìn)行檢測,，此時(shí)使用Yolo V2檢測算法,，將檢測到的汽車輪廓信息作為后續(xù)跟蹤算法的輸入。經(jīng)過Yolo V2檢測完成后,，得到了一個(gè)序列,，將這個(gè)序列作為基礎(chǔ)序列，針對跟蹤檢測算法,，首先監(jiān)測出一個(gè)汽車輪廓,，針對已有的汽車輪廓使用Meanshift方法得到當(dāng)前車輛的真實(shí)位置^[12]，如圖4所示,。

    進(jìn)入到視頻中的汽車,，系統(tǒng)首先對汽車的外框信息保存到跟蹤器中，再提取一個(gè)汽車的外框與之前保存的外框信息進(jìn)行相似度比對,，如果信息重疊則立即更新Kalman預(yù)測模型,，預(yù)測此車輛的大體活動(dòng)位置，再利用Meanshift得到正確的位置,，在視頻中用框標(biāo)注出跟蹤汽車,，直到汽車消失在視頻中，系統(tǒng)會(huì)自動(dòng)刪除其外框信息,。如果在相似度對比時(shí)跟蹤器中沒有與此汽車信息相同的外框信息,，則把此信息自動(dòng)添加到跟蹤器中，進(jìn)行后續(xù)操作^[13],。

其中,，z(x,，y)為候選目標(biāo)的坐標(biāo)。S(z)是巴氏系數(shù),，具有如下公式：

    根據(jù)式(1)～式(3)計(jì)算出S(z),，S(z)的值在0～1之間，S(z)值越大,，兩個(gè)模型越相似,。

2.4 測試結(jié)果

    Tegra Parker上的HEVC硬件編碼器編碼速率比PC端x265編碼器大，PSNR比PC端x265編碼器高,。根據(jù)本文設(shè)計(jì)的系統(tǒng),，對HEVC 編碼器在不同分辨率情況下的編碼速度、壓縮率和網(wǎng)絡(luò)發(fā)送速率進(jìn)行了測試,，針對HEVC硬件編碼器編碼速率與PC端x265編碼選擇分辨率分別為640×480,、1 280×720、1 920×1 080,、2 104×1 560做了簡要對比,，在Tegra Parker上編碼器參數(shù)如表1所示。PC端x265編碼器參數(shù)如表2所示,。

    下面對表1中的數(shù)據(jù)加以說明,，其中表1中壓縮比體現(xiàn)的是壓縮后文件與原始文件的比值，相對于x265在同等清晰度的前提下壓縮比提高很多,。編碼速率是指視頻在編碼的過程中單位時(shí)間內(nèi)能完成壓縮視頻編碼的幀數(shù),，相對于商用編碼核心x264的編碼速率快近100倍。在測試過程中還對UDP傳輸時(shí)間進(jìn)行了粗略的統(tǒng)計(jì),，通過平均的輸出時(shí)間從而得到系統(tǒng)的輸出速率,，PSNR計(jì)算公式為：

    本系統(tǒng)能對采集的高清交通視頻影像進(jìn)行車輛的檢測跟蹤，對視頻中的檢測到的車輛用框標(biāo)記出來,，再對標(biāo)記的車輛進(jìn)行跟蹤,，標(biāo)記框會(huì)伴隨著車輛的移動(dòng)而移動(dòng)^[15]。圖5所示是車輛檢測及跟蹤的畫面,。

3 結(jié)論

    本文在NVIDIA Jetson TX2平臺(tái)上設(shè)計(jì)實(shí)現(xiàn)車輛的檢測及跟蹤,，利用板載攝像頭完成視頻采集，再進(jìn)行HEVC編碼,，對HEVC的輸出碼進(jìn)行RTP封裝后通過UDP廣播發(fā)送,，然后在PC端接收解碼，最后進(jìn)行識(shí)別及跟蹤,。測試結(jié)果表明,，相對于x265，在同等清晰度的前提下壓縮比提高很多,；相對于商用編碼核心x264的編碼速率快了近100倍,。本文設(shè)計(jì)的系統(tǒng)在保證視頻畫面質(zhì)量良好的情況下能夠達(dá)到4K分辨率的實(shí)時(shí)編碼傳輸,，這使后續(xù)對顯示的視頻進(jìn)行車輛的識(shí)別跟蹤更加清晰準(zhǔn)確。

參考文獻(xiàn)

[1] 沈燕飛,，李錦濤,，朱珍民，等.高效視頻編碼[J].計(jì)算機(jī)學(xué)報(bào),，2013,，36(11)：23-40.

[2] RAM C，PANWAR S.Performance comparision of high efficiency video coding(HEVC) with H.264 AVC[C].2017 13th International Conference Signal-Image Technology & Internet-Based Systems(SITIS),，2017.

[3] NVIDIA Corporation.NVIDIA Jetson.The AI platform for autonomous machines[EB/OL］.(2018- 05-10)[2019-05-13].https：//developer.nvidia.com/embedded/develop/hardware.Html.

[4] Yan Han,，ORUKLU E.Traffic sign recognition based on the nvidia jetson tx1 embedded system using convolutional neural networks[C].2017 IEEE60th International Midwest Symposium on Circuitsand Systems(MWSCAS)，2017：184-187.

[5] 林峰,，張雷,，梁明亮.基于NVIDIA Jetson TX1的HEVC編碼和傳輸系統(tǒng)設(shè)計(jì)[J].沈陽航空航天大學(xué)，2018,，35(5)：51-56.

[6] 孫鵬.基于視頻的嵌入式車輛跟蹤系統(tǒng)[D].北京：北方工業(yè)大學(xué),，2013.

[7] 李維,，楊付正,，任鵬.考慮視頻內(nèi)容的H.265/HEVC幀層碼率分配算法[J].通信學(xué)報(bào)，2015,，36(9)：76-81.

[8] 丁涼.基于RTP的MPEG-4傳輸方法研究與實(shí)踐[D].合肥：合肥工業(yè)大學(xué),，2004.

[9] 許寧.基于RTP協(xié)議的移動(dòng)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].通信技術(shù)，2014,，47(4)：455-458.

[10] 孟凡飛,，劉金海，吳宗澤.基于Gstreamer的嵌入式流媒體播放器的設(shè)計(jì)[J].嵌入式系統(tǒng)應(yīng)用,，2010,，26(20)：5-9.

[11] 林文.基于嵌入式開發(fā)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都：西南交通大學(xué)，2012.

[12] 康劍斌.無人機(jī)雙目視覺深度感知技術(shù)研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué),，2018.

[13] 林付春,，劉宇紅，張達(dá)峰,，等.基于深度學(xué)習(xí)的智能路牌識(shí)別系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用,，2018，44(6)：68-71.

[14] 趙春暉,，張洪才,，王永忠.基于特征顏色空間變換的目標(biāo)跟蹤融合算法[J].計(jì)算機(jī)工程與應(yīng)用，2008(3)：8-9,，19.

[15] 張寧.基于無人機(jī)平臺(tái)的動(dòng)態(tài)目標(biāo)檢測系統(tǒng)開發(fā)[D].杭州：浙江大學(xué),，2018.

作者信息:

張  雷,，王  越

(沈陽航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽110136)