摘  要： 介紹了在海思Hi3616A開發(fā)平臺(tái)下實(shí)現(xiàn)的一種H265碼流實(shí)時(shí)傳輸系統(tǒng),。利用海思提供的媒體處理平臺(tái)（MPP）采集高清攝像頭感應(yīng)到的視頻圖像并進(jìn)行H265壓縮編碼,，然后對LIVE555開源代碼進(jìn)行二次開發(fā)，實(shí)現(xiàn)播放H265實(shí)時(shí)碼流的功能,，將壓縮編碼后的數(shù)據(jù)發(fā)送出去,。設(shè)計(jì)結(jié)果表明，系統(tǒng)傳輸高清視頻圖像延遲短,，播放流暢,，滿足智能監(jiān)控領(lǐng)域應(yīng)用的要求。

　　關(guān)鍵詞： MPP,；LIVE555,；H265；實(shí)時(shí)碼流

0 引言

　　隨著社會(huì)的發(fā)展以及人們生活質(zhì)量的提高,，安全問題越來越受到重視,。在這樣的形式之下，網(wǎng)絡(luò)視頻監(jiān)控技術(shù)占領(lǐng)著越來越大的市場,，廣泛應(yīng)用在交通,、商場等領(lǐng)域。然而,，技術(shù)應(yīng)用對視頻的質(zhì)量,、傳輸?shù)膶?shí)時(shí)性和數(shù)據(jù)的壓縮效率等提出了要求[1]，對項(xiàng)目開發(fā)構(gòu)成了巨大挑戰(zhàn),。本文設(shè)計(jì)并實(shí)現(xiàn)了一套實(shí)時(shí)流媒體傳輸系統(tǒng),，以Hi3516A開發(fā)平臺(tái)作為基礎(chǔ)，以高壓縮效率的H265編碼算法作為編碼技術(shù),，通過對LIVE555開源代碼二次開發(fā)實(shí)現(xiàn)H265碼流實(shí)時(shí)傳輸從而構(gòu)成了整個(gè)系統(tǒng),。該系統(tǒng)在視頻質(zhì)量、壓縮效率,、實(shí)時(shí)性上都滿足了當(dāng)前市場應(yīng)用的要求,，對實(shí)際項(xiàng)目開發(fā)具有一定的借鑒意義,。

1 系統(tǒng)工作原理

　　如圖1所示，系統(tǒng)以Hi3516A開發(fā)平臺(tái)（由高分辨率1 080 p的AR0330攝像頭模塊和帶千兆以太網(wǎng)功能的Hi3516A控制器模塊組成硬件平臺(tái),，并在硬件平臺(tái)上燒寫了U-Boot,、Linux內(nèi)核和加載了相關(guān)驅(qū)動(dòng)）作為基礎(chǔ)，在該平臺(tái)上開發(fā)應(yīng)用程序,。首先，進(jìn)程A獲取來自AR0330攝像頭模塊的YUV原始視頻圖像,，并使用H265壓縮編碼算法進(jìn)行壓縮編碼獲得H265格式碼流,，該過程通過使用海思提供的媒體處理平臺(tái)（MPP）實(shí)現(xiàn)；其次,，進(jìn)程B負(fù)責(zé)響應(yīng)網(wǎng)絡(luò)客戶端的請求,，將進(jìn)程A的輸出碼流通過千兆以太網(wǎng)接口實(shí)時(shí)地發(fā)送出去，該過程通過對LIVE555開源代碼（該代碼原本只支持文件發(fā)送功能,，而不支持內(nèi)存實(shí)時(shí)數(shù)據(jù)發(fā)送功能）二次開發(fā)實(shí)現(xiàn),；此外，進(jìn)程A與進(jìn)程B之間的數(shù)據(jù)交換使用共享內(nèi)存進(jìn)程通信方式,，節(jié)約了CPU資源和時(shí)間成本,。

2 功能實(shí)現(xiàn)

　　2.1 視頻捕捉與編碼

　　選擇在Hi3516A開發(fā)平臺(tái)上開發(fā)體現(xiàn)了在視頻捕捉和編碼過程中的很多優(yōu)勢。Hi3516A是專用于HD IP攝像機(jī)的多媒體芯片,，具有高性能Cortex-A7處理器和內(nèi)部集成的硬件H265視頻標(biāo)準(zhǔn)編碼器[2],；此外，海思提供的MPP對應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理,，提供給應(yīng)用程序方便的接口,，這樣不僅大大縮短了開發(fā)周期，還降低了開發(fā)難度,。對于應(yīng)用程序開發(fā)者,，只需要使用MPP所提供的接口實(shí)現(xiàn)特定功能，滿足應(yīng)用,。

　　MPP主要由視頻輸入（VI）,、視頻處理（VPSS）、視頻編碼（VENC）,、視頻解碼（VDEC）,、視頻輸出（VO）、視頻偵測分析（VDA）,、區(qū)域管理（REGION）等模塊組成,。本系統(tǒng)用到VI、VPSS,、VENC和REGION模塊完成視頻采集,、處理、信息疊加和壓縮編碼工作，最終得到目標(biāo)碼流,。

　　如圖2所示,，首先，調(diào)用系統(tǒng)控制模塊的媒體處理平臺(tái)編程接口（MPI）完成硬件和MPP初始化,，它實(shí)現(xiàn)的重要功能是分配視頻緩存池,；其次，調(diào)用VI模塊的MPI創(chuàng)建視頻輸入設(shè)備和視頻物理通道并設(shè)置參數(shù),；然后,，調(diào)用VPSS模塊的MPI創(chuàng)建組和通道，并設(shè)置組和通道參數(shù),，輸出期望分辨率的視頻數(shù)據(jù),；最后，調(diào)用REGION模塊的MPI,，在原始圖像上疊加用戶信息,，并調(diào)用VENC模塊的MPI對YUV原始圖像進(jìn)行H265壓縮編碼，得到H265格式碼流[3],。完成以上工作后,，創(chuàng)建一個(gè)線程不斷從編碼通道獲取實(shí)時(shí)H265碼流。整個(gè)過程都通過調(diào)用各模塊的MPI實(shí)現(xiàn),，難度較低,。

　　2.2 H265實(shí)時(shí)碼流傳輸

　　本系統(tǒng)中，H265實(shí)時(shí)流媒體數(shù)據(jù)的傳輸在LIVE555 C++開源項(xiàng)目的基礎(chǔ)上實(shí)現(xiàn),。LIVE555是跨平臺(tái)的流媒體解決方案,，使用RTSP、RTCP/RTP等標(biāo)準(zhǔn)流媒體傳輸協(xié)議,，支持H265,、H264、MPEG等視頻格式和多種音頻格式的流化,、發(fā)送,、接收等處理。此外,，由于良好的代碼框架設(shè)計(jì),，很容易擴(kuò)展出對其他媒體格式的支持，所以大量應(yīng)用在流媒體傳輸方案中,，比如網(wǎng)絡(luò)視頻監(jiān)控應(yīng)用,、流媒體播放器等。

　　LIVE555默認(rèn)只支持發(fā)送音視頻文件,，而不支持從媒體設(shè)備獲取的實(shí)時(shí)碼流,。在本系統(tǒng)中,，需要修改LIVE555源代碼以實(shí)現(xiàn)H265碼流實(shí)時(shí)發(fā)送功能。

　　一種方法是通過有名管道（FIFO）實(shí)現(xiàn),，這種方法不需要修改LIVE555源代碼,，只需在視頻捕捉與編碼源進(jìn)程中創(chuàng)建一個(gè)FIFO，并不斷把實(shí)時(shí)H265碼流寫入FIFO中即可,。LIVE555服務(wù)器端用發(fā)送音視頻文件的方式獲取FIFO中數(shù)據(jù),，完成實(shí)時(shí)直播[4]。這種方法容易實(shí)現(xiàn),，使用較多,，但是當(dāng)視頻碼流率較大時(shí)監(jiān)控端的延時(shí)較大，并存在卡頓,、馬賽克等現(xiàn)象，效果較差,。另一種方法是通過修改LIVE555源代碼,，從實(shí)現(xiàn)RTSP服務(wù)的相關(guān)基類派生出H265碼流直播的類，重寫類的成員方法來實(shí)現(xiàn),。該方法通過共享內(nèi)存進(jìn)程通信方式實(shí)現(xiàn)與視頻捕捉和編碼進(jìn)程的碼流交互,。這種方法的實(shí)現(xiàn)比較復(fù)雜，但在數(shù)據(jù)處理過程中比第一種方式少了多次數(shù)據(jù)寫入和拷貝工作,，如圖3所示（其中實(shí)線部分為第一種方法數(shù)據(jù)流向,，虛線部分為第二種方法數(shù)據(jù)流向），從而監(jiān)控端能夠以較大碼流率實(shí)時(shí),、流暢地播放高清視頻圖像,。本文主要針對第二種方法的設(shè)計(jì)實(shí)現(xiàn)，而不討論第一種方法,。

　　LIVE555主要通過任務(wù)調(diào)度機(jī)制和RTSP服務(wù)機(jī)制兩個(gè)部分實(shí)現(xiàn)流媒體服務(wù)器功能[5],。其中任務(wù)調(diào)度機(jī)制主要通過TaskScheduler類庫實(shí)現(xiàn)，它完成網(wǎng)絡(luò)套接字任務(wù),、延時(shí)任務(wù)和觸發(fā)事件三種任務(wù)的循環(huán)調(diào)度,，從而構(gòu)成了系統(tǒng)運(yùn)行框架。而RTSP服務(wù)機(jī)制通過工程的liveMedia目錄下的類庫實(shí)現(xiàn),，通過把RTSP協(xié)議加入到運(yùn)行框架中,，實(shí)現(xiàn)了流媒體服務(wù)器。下面具體分析RTSP服務(wù)機(jī)制的實(shí)現(xiàn)過程,。

　　首先,，建立RTSPServer，監(jiān)聽客戶端的連接請求,，響應(yīng)客戶端請求建立連接后,，創(chuàng)建RTSPClientSession,，RTSP協(xié)議就是在RTSPClientSession中實(shí)現(xiàn)的。然后是RTSP協(xié)議的實(shí)現(xiàn)過程,，客戶端向服務(wù)器端發(fā)送RTSP描述命令（DESCRIBE）,，服務(wù)器查找到對應(yīng)的ServerMediaSession（對應(yīng)某個(gè)媒體設(shè)備或某種格式文件），并生成會(huì)話描述協(xié)議（SDP）信息進(jìn)行回應(yīng),；接著,，客戶端發(fā)送RTSP建立命令（SETUP），服務(wù)器端建立RTP/RTCP套接字,，并建立特定的Source和Sink,，為數(shù)據(jù)的獲取、封包和發(fā)送做準(zhǔn)備,；完成以上步驟后,，客戶端發(fā)送播放命令（PLAY），服務(wù)器端響應(yīng)請求,，循環(huán)調(diào)用Source對象的成員方法獲取數(shù)據(jù)并通過Sink對象的成員方法進(jìn)行封包和發(fā)送,，實(shí)現(xiàn)流媒體服務(wù)器的功能；在播放過程中,，客戶端可以發(fā)送終止命令（TERADOWN）結(jié)束流媒體會(huì)話,。

　　從RTSP協(xié)議實(shí)現(xiàn)過程可知，為了支持H265實(shí)時(shí)流媒體數(shù)據(jù)傳輸,，需要實(shí)現(xiàn)用戶自定義類ServerMediaSubssion,、Source和Sink[6]。自定義的類可以繼承H265VideoFileServer MediaSubsession,、H265VideoRTPSink和H265VideoStreamFramer中能共用的方法,，重寫H265實(shí)時(shí)流媒體處理特有的方法。具體實(shí)現(xiàn)方法是添加H265LiveVideoServerMediaSubssion：public H265VideoFileServerMediaSubsession類,，并重寫createNewStreamSource成員方法,。該成員方法的關(guān)鍵段代碼段如下：

　　estBitrate=1000；

　　H265FramedLiveSource*liveSource=\

　　H265FramedLiveSource：：createNew（envir（））,；

　　if（liveSource==NULL）{return NULL,；}

　　return H265VideoStreamFramer：：\

　　createNew（envir（），liveSource）,；

　　該代碼段的主要工作是把ByteStreamFileSource替換為用戶自定義的H265FramedLiveSource,，用于獲取高清攝像頭上的實(shí)時(shí)視頻數(shù)據(jù)。H265FramedLiveSource的成員方法H265FramedLiveSource：：doGetNextFrame（）就實(shí)現(xiàn)了從H265編碼輸出端獲取H265格式視頻數(shù)據(jù)并送到H265VideoRTPSink端的過程,。其中,，進(jìn)程之間數(shù)據(jù)交換采用共享內(nèi)存方式，用有名信號(hào)量實(shí)現(xiàn)進(jìn)程對共享內(nèi)存的同步訪問,。該成員方法的關(guān)鍵代碼段如下：

　　static int niHaveReadSize=0,；

　　if（Framed_dosent==true）{

　　if（0==niHaveReadSize）sem_wait（semr）,；

　　fFrameSize=\

　　（Framed_datasize-niHaveReadSize>fMaxSize）\

　　fMaxSize：\

　　Framed_datasize-niHaveReadSize,；

　　memcpy（fTo,，shm_add+niHaveReadSize，\

　　fFrameSize）,；

　　niHaveReadSize+=fFrameSize,；

　　if（niHaveReadSize==Framed_datasize）{

　　sem_post（semw）；

　　niHaveReadSize=0,；

　　}

　　}

　　這樣,，當(dāng)服務(wù)器端收到客戶端PLAY命令時(shí)，不斷調(diào)用H265FramedLiveSource：：doGetNextFrame（）讀取H265格式視頻數(shù)據(jù),，封包和發(fā)送出去,，實(shí)現(xiàn)H265碼流實(shí)時(shí)傳輸功能。

　　在主函數(shù)中,，只需在創(chuàng)建ServerMediaSession時(shí)加入H265LiveVideoServerMediaSubssion,，并向RTSPServer中注冊該ServerMediaSession即可[7]。

3 結(jié)果分析

　　H265碼流實(shí)時(shí)傳輸?shù)某绦蛲ㄟ^海思平臺(tái)的交叉編譯工具鏈編譯,，生成可執(zhí)行文件，并在海思Hi3516A開發(fā)平臺(tái)下運(yùn)行,，完成服務(wù)器搭建工作,。服務(wù)器正常運(yùn)行后的終端輸出如圖4所示。

　　客戶端通過安裝Windows系統(tǒng)下的VLC播放器實(shí)現(xiàn),。打開VLC播放器,，在“打開網(wǎng)絡(luò)串流”選項(xiàng)中輸入rtsp：//192.168.1.116：8554/H265LiveVideo，點(diǎn)擊播放,，就可以看到來自高清攝像頭的視頻圖像,，并長期穩(wěn)定工作。與常用的FIFO方式作效果對比,，當(dāng)碼流率較大時(shí),，視頻圖像延遲更短，視頻畫面更加完整和流暢,。

4 結(jié)論

　　在海思Hi3516A開發(fā)平臺(tái)上,，通過調(diào)用MPP進(jìn)行編程和修改LIVE555流媒體服務(wù)器源代碼，實(shí)現(xiàn)了H265實(shí)時(shí)碼流獲取和網(wǎng)絡(luò)直播功能,，且具有良好的效果,，可以應(yīng)用在項(xiàng)目開發(fā)中。由于系統(tǒng)還處在測試階段,，不夠完善,，實(shí)際項(xiàng)目開發(fā)中,，要根據(jù)實(shí)際情況進(jìn)一步優(yōu)化，以達(dá)到更好的性能,。

參考文獻(xiàn)

　　[1] 瞿洪桂．網(wǎng)絡(luò)視頻監(jiān)控的市場現(xiàn)狀及發(fā)展方向[J]．中國安防,，2015（5）：32-35.

　　[2] 季健佼．解析海思H.265超高清IP視頻監(jiān)控解決方案[J]．中國公共安全（綜合版），2014（22）：198-200,，202.

　　[3] 王峰．基于Hi3516的音視頻采集及網(wǎng)絡(luò)傳輸技術(shù)研究[D]．西安：西安電子科技大學(xué),，2013.

　　[4] 曾金，毛燕琴,，沈蘇彬,，等．嵌入式流媒體服務(wù)器的設(shè)計(jì)和實(shí)現(xiàn)[J]．計(jì)算機(jī)技術(shù)與發(fā)展，2011,，21（7）：81-84,，89.

　　[5] 許華濱，謝維波,，黃奕,，等．基于Live555的流媒體服務(wù)器設(shè)計(jì)與實(shí)現(xiàn)[J]．微型機(jī)與應(yīng)用，2014,，33（18）：48-50.

　　[6] 呂少君,，周淵平．基于Live555的實(shí)時(shí)流媒體傳輸系統(tǒng)[J]．計(jì)算機(jī)系統(tǒng)應(yīng)用，2015,，24（1）：56-59.

　　[7] 彭宏,，吳海巍，葉敏展,，等．基于流媒體的移動(dòng)視頻直播系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]．電子技術(shù)應(yīng)用,，2014，40（9）：111-113,，117.