摘要：基于目前最新的視頻壓縮編解碼標(biāo)準(zhǔn)H．264,，采用Directshow應(yīng)用框架,，設(shè)計(jì)了網(wǎng)絡(luò)流媒體播放器系統(tǒng)；Directshow是微軟提供的基于windows平臺(tái)的優(yōu)秀的流媒體應(yīng)用架構(gòu),，H．264標(biāo)準(zhǔn)具有高壓縮比和優(yōu)良的網(wǎng)絡(luò)親和性,，基于Directshow和H．264設(shè)計(jì)的網(wǎng)絡(luò)流媒體播放器不僅具有優(yōu)良的系統(tǒng)架構(gòu)，同時(shí)具有更好的靈活性和可擴(kuò)展性,，可以很方便地應(yīng)用于視頻點(diǎn)播系統(tǒng)(Video On Demand System)中和移植到嵌入式WINCE平臺(tái),。基于Direotshow分析和設(shè)計(jì)了網(wǎng)絡(luò)源Filter和H．264解碼Filter,，同時(shí)闡述了網(wǎng)絡(luò)流媒體播放器系統(tǒng)的整體框架,。
關(guān)鍵詞：Directshow；H．264,；Filter,；流媒體

0 引言
    Directshow應(yīng)用框架完成了流媒體處理的底層工作，使得編程者無(wú)需關(guān)心數(shù)據(jù)如何輸入,，以及處理完后如何輸出,，而只需關(guān)心如何對(duì)輸入數(shù)據(jù)進(jìn)行處理。H．264視頻編解碼標(biāo)準(zhǔn)具有高壓縮比和優(yōu)良的網(wǎng)絡(luò)親和性,，被普遍認(rèn)為是最有影響力的流媒體視頻壓縮標(biāo)準(zhǔn),。將Direct-show和H．264兩種相結(jié)合的流媒體播放器無(wú)疑將具有非常優(yōu)秀的性能。

1 Directshow技術(shù)和H．264視頻壓縮標(biāo)準(zhǔn)簡(jiǎn)介
    Directshow是微軟公司提供的一套流媒體開(kāi)發(fā)軟件包,，為在windows平臺(tái)上處理各種格式的媒體文件的回放,、音視頻采集的高性能要求的多媒體應(yīng)用，提供了完整的解決方案,。
    Directshow是一套完全基于COM的應(yīng)用系統(tǒng),，該系統(tǒng)位于應(yīng)用層中，它使用Filter Graph的模型來(lái)管理整個(gè)數(shù)據(jù)流的處理過(guò)程,；參與數(shù)據(jù)處理的各個(gè)功能模塊叫Filter,；各個(gè)Filter在Filter Graph中按照一定的順序連接成一條“流水線”協(xié)同工作。Filter是一個(gè)COM組件,，其功能可以由用戶(hù)自行實(shí)現(xiàn),，DirectShow SDK也為用戶(hù)提供了一些標(biāo)準(zhǔn)的Filter供用戶(hù)使用。各個(gè)Filter在Filter Graph中按一定順序通過(guò)Pin互相連接起來(lái),，Pin也是一個(gè)COM對(duì)象,。
    H．264是由ITU-T和ISO／IEC的聯(lián)合開(kāi)發(fā)組共同開(kāi)發(fā)的最新國(guó)際視頻編碼標(biāo)準(zhǔn)。H．264／AVC視頻編碼標(biāo)準(zhǔn)在編碼質(zhì)量和壓縮比上比原有的視頻編碼標(biāo)準(zhǔn)都有了明顯的提高,。在相同的視覺(jué)感知質(zhì)量上,，編碼效率比H．263,，MPEG-2和MPEG-4提高了50％左右。H．264不僅具有優(yōu)異的壓縮性能,，而且具有良好的網(wǎng)絡(luò)親和性,。因此，H．264被普遍認(rèn)為是最有影響力的流媒體視頻壓縮標(biāo)準(zhǔn),。

2 系統(tǒng)設(shè)計(jì)框架
    本系統(tǒng)基于Direotshow應(yīng)用框架和H．264視頻壓縮標(biāo)準(zhǔn),，實(shí)現(xiàn)了從網(wǎng)絡(luò)接收流媒體數(shù)據(jù)，并在客戶(hù)端實(shí)時(shí)播放的功能,。流媒體文件是采用H．264編碼的AVI文件,，由于directshow提供了AVI Splitter Filter、Audio Decoder和標(biāo)準(zhǔn)的Video／Audio Renderer,，因此,，本系統(tǒng)只需設(shè)計(jì)自定義的網(wǎng)絡(luò)源Filter、H．264解碼Filter,。
    多媒體流式傳輸實(shí)際上牽涉到兩個(gè)方面的技術(shù),。其一就是服務(wù)器與客戶(hù)端的通信技術(shù)，包括多媒體數(shù)據(jù)的傳輸,、命令控制等,；其二就是客戶(hù)端對(duì)接收到的多媒體流實(shí)時(shí)解碼后播放的技術(shù)。顯然,，網(wǎng)絡(luò)通信可以使用windows socket技術(shù),，多媒體流的解碼播放可以使用direct-show技術(shù)。本文采用direetshow應(yīng)用框架,，設(shè)計(jì)了網(wǎng)絡(luò)源filter和h．264解碼filter,，并通過(guò)Filter Graph構(gòu)建了流媒體播放器。
    播放本地基于H．264編碼的AVI文件的Filter Graph如圖1,。只需將本地File Source Filter替換為網(wǎng)絡(luò)源Filter，將CoreAVC Video De-coder替換為h．264解碼Filter,，即可實(shí)現(xiàn)網(wǎng)絡(luò)H．264視頻播放器,。

3 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
3．1 Filter設(shè)計(jì)流程
    Filter的編碼實(shí)現(xiàn)包括Filter的注冊(cè)信息、Filter上的框架函數(shù)實(shí)現(xiàn),、邏輯控制類(lèi)實(shí)現(xiàn),、自定義接口實(shí)現(xiàn)、屬性頁(yè)實(shí)現(xiàn),、產(chǎn)權(quán)保護(hù)等,。
首先，要對(duì)Filter所要完成的功能和它在Filter Graph中的位置進(jìn)行分析,，以確定filter模型,，選擇一個(gè)合適的基類(lèi),；然后，再定義輸入輸出PIN以及自定義接口,，注冊(cè)Filter信息,；最后實(shí)現(xiàn)基類(lèi)的全部純虛函數(shù)和自定義接口函數(shù)，并重寫(xiě)基類(lèi)的相關(guān)函數(shù)以定制filter功能,。
3．2 網(wǎng)絡(luò)源Filter的設(shè)計(jì)
    源Filter主要功能是接收服務(wù)器發(fā)來(lái)的流媒體數(shù)據(jù),，并提供給Filter Graph中其它Filter使用。
    由于directshow自帶的AVI splitter工作于拉模式,，故該源Filter也工作于拉模式,。
    本源Filter采用雙緩沖循環(huán)隊(duì)列技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)的接收和向下一級(jí)Filter傳遞數(shù)據(jù)。采用該技術(shù)有如下理由：
    (1)在Source Filter與SpliRer連接的過(guò)程中,，會(huì)從Source Filter中讀取一部分?jǐn)?shù)據(jù),，以獲得數(shù)據(jù)的格式描述，否則Filter Graph無(wú)法完成連接,。源Filter與Splitter Filter進(jìn)行連接前,，應(yīng)啟動(dòng)一個(gè)等待線程，當(dāng)Source Filter的數(shù)據(jù)緩存預(yù)先接收到足夠的數(shù)據(jù)后,，再構(gòu)建完整的Filter Graph,。
    (2)當(dāng)完整的Filter Graph構(gòu)建完成，并且處于運(yùn)行狀態(tài)后,，Source Filter必須動(dòng)態(tài)地接收數(shù)據(jù),，并持續(xù)地把新數(shù)據(jù)提供給Splitter Filter，雙緩沖循環(huán)隊(duì)列既充分利用內(nèi)存空間,，又能為Splitter Filter提供穩(wěn)定的數(shù)據(jù)源,。
    (3)緩沖隊(duì)列可以穩(wěn)定碼率，有效減小網(wǎng)絡(luò)延時(shí),、阻塞和抖動(dòng)的影響,。
    源Filter的工作過(guò)程如下：建立一個(gè)循環(huán)緩沖隊(duì)列，隊(duì)列尾指針用于緩沖從網(wǎng)絡(luò)接收的數(shù)據(jù),，隊(duì)列頭指針供Splitter讀取數(shù)據(jù),，進(jìn)行音視頻分離，并傳給下一級(jí)Decoder處理,；當(dāng)Socket接收到網(wǎng)絡(luò)數(shù)據(jù)后,，將數(shù)據(jù)插入隊(duì)列尾部，并使尾指針后移,；當(dāng)Splitter需要讀取數(shù)據(jù)時(shí),，從隊(duì)列頭讀取數(shù)據(jù)，并使頭指針后移,。
    流媒體傳輸采用客戶(hù)端／服務(wù)器的架構(gòu),，服務(wù)器與客戶(hù)端之間還有一個(gè)Socket通信協(xié)議問(wèn)題,，由于流媒體是連續(xù)的，它的同步點(diǎn)不能隨意選擇,，因此,，為了傳送流媒體數(shù)據(jù)，必須使用面向連接的可靠的傳輸協(xié)議(TCP),?？蛻?hù)端與服務(wù)器端的控制與反饋消息，則可以使用(UDP)來(lái)傳輸,。服務(wù)器端首先創(chuàng)建一個(gè)偵聽(tīng)Socket,，偵聽(tīng)來(lái)自客戶(hù)端的連接請(qǐng)求。一旦偵聽(tīng)到客戶(hù)端的請(qǐng)求,，服務(wù)器端就創(chuàng)建一個(gè)用于數(shù)據(jù)傳送的Socket,，并綁定到請(qǐng)求連接的客戶(hù)端，此時(shí),，服務(wù)器處于數(shù)據(jù)傳送的就緒狀態(tài),。當(dāng)客戶(hù)端發(fā)出命令，服務(wù)器再根據(jù)命令的類(lèi)型執(zhí)行相應(yīng)的操作,，如數(shù)據(jù)發(fā)送,、停止、斷開(kāi)連接等,。
    在服務(wù)器端首先將連續(xù)的H．264流分成一塊一塊小包的負(fù)載數(shù)據(jù),，并且加上一個(gè)信息頭一起使用TCP協(xié)議發(fā)送；在客戶(hù)端根據(jù)信息頭描述,，將小包的負(fù)載數(shù)據(jù)進(jìn)行拼裝,，然后進(jìn)行H．264的解碼播放。Socket數(shù)據(jù)傳送結(jié)構(gòu)為：負(fù)載類(lèi)型(8 bit),、負(fù)載數(shù)據(jù)長(zhǎng)度(16 bit)和負(fù)載數(shù)據(jù)包(2324Byte),。
    客戶(hù)端的實(shí)現(xiàn)可以參考SDK中的MEMFile Filter，直接從SDK例子將asyncrdr．cpp,、asyncrdr．h,、asyncio．cpp、asyneio．h四個(gè)文件拷貝過(guò)來(lái),，然后在MemFilter．h文件中從CAsyncStream派生流處理類(lèi)CMemStream，定制數(shù)據(jù)源并進(jìn)行數(shù)據(jù)的讀取操作,；從CAsyncReader派生濾波器類(lèi)CMemReader,，實(shí)現(xiàn)含1個(gè)輸出PIN的Source Filter框架，完成與Splitter Filter的連接,。
    網(wǎng)絡(luò)源濾波器類(lèi)間數(shù)據(jù)流程如圖2,，下一級(jí)Filter“拉”線程數(shù)據(jù)流程如圖3,。其中：CAsyneStream用以標(biāo)示數(shù)據(jù)流；CAsyneRequest標(biāo)示輸入與輸出請(qǐng)求,；CAsyncIo實(shí)現(xiàn)數(shù)據(jù)輸入和輸出的控制,。編程主要實(shí)現(xiàn)CMemStream：Read()函數(shù)以實(shí)現(xiàn)從特定的數(shù)據(jù)源讀取數(shù)據(jù)到下一級(jí)Filter的Sample中。

3．3 H．264解碼Filter的設(shè)計(jì)
    該濾波器工作于Splitter和Renderer filter之間,，包含一個(gè)輸入和一個(gè)輸出,，且輸入和輸出pin上的媒體類(lèi)型不一致，故選擇CTrans-form Filter作為基類(lèi),，派生子類(lèi)CX264Decode,。
    ffmpeg是一個(gè)集錄制、轉(zhuǎn)換,、音／視頻編碼解碼功能為一體的完整的開(kāi)源解決方案,。利用ffmpeg中的Libavformat和libavcodec庫(kù)訪問(wèn)大多數(shù)視頻文件格式是一個(gè)很好的方法。將ffmpeg中關(guān)于h．264解碼的操作封裝為C++類(lèi),，供H．264解碼Filter調(diào)用以實(shí)現(xiàn)解碼功能,。
    子類(lèi)CX264Decode必須要實(shí)現(xiàn)的純虛函數(shù)有：CheckInputType()實(shí)現(xiàn)輸入Pin上的媒體類(lèi)型檢查；CheckTransform()檢查是否支持從該輸入pin到輸出pin的變換操作,；DecideBufferSize()決定Samlple內(nèi)存的大?。籊etMediaType()：提供輸出Pin上的首選媒體類(lèi)型,；Transform()：實(shí)現(xiàn)解碼變換,。
    子類(lèi)CX264Decode可選的重寫(xiě)虛函數(shù)有：初始化和反初始化流：StartStreaming()和StopStreaming()；響應(yīng)質(zhì)量通告消息：AlterQuali-ty(),；獲取媒體類(lèi)型被實(shí)際設(shè)置的時(shí)間：SetMediaType(),；連接時(shí)獲取額外的接口：CheckConnect()、BreakConnect()和CompleteConneet(),；定制變換過(guò)程：Receive(),；標(biāo)準(zhǔn)化設(shè)置輸出Sample：InitializeOutputSample()。
    本Filter設(shè)計(jì)主要流程如下：
    (1)Filter注冊(cè)信息
    定義類(lèi)工廠模板,，填寫(xiě)Filter的注冊(cè)信息,；同時(shí)實(shí)現(xiàn)DLL文件所必須實(shí)現(xiàn)的注冊(cè)和反注冊(cè)函數(shù)：DLLRegisterServer和DLLUnregisterSe-rver。
    (2)框架函數(shù)的實(shí)現(xiàn)
    實(shí)現(xiàn)函數(shù)CreateInstanee,，用于創(chuàng)建Filter對(duì)象實(shí)例,；實(shí)現(xiàn)函數(shù)CheeklnputType，用于對(duì)輸入Pin上的媒體類(lèi)型檢查,；實(shí)現(xiàn)函數(shù)Transfo-rm,，用于H．264的解碼操作；實(shí)現(xiàn)函數(shù)NonDelegafingQueryIntefface，用于暴露Filter支持的自定義接口,，使應(yīng)用程序可以設(shè)置解碼器的參數(shù),；實(shí)現(xiàn)函數(shù)CompleteConnect，可以在輸入Pin成功連接后取得媒體類(lèi)型描述,，并將輸入數(shù)據(jù)的格式設(shè)置給應(yīng)用邏輯控制對(duì)象,；實(shí)現(xiàn)函數(shù)St-artStreaming和StopStreaming，可以分別調(diào)用應(yīng)用控制邏輯對(duì)象的相應(yīng)函數(shù),，進(jìn)行流處理的初始化和反初始化操作,。
    (3)邏輯控制類(lèi)的實(shí)現(xiàn)
    邏輯控制類(lèi)是本Filter設(shè)計(jì)的核心，框架函數(shù)和自定義接口函數(shù)的相關(guān)操作都是委托給邏輯控制類(lèi)來(lái)實(shí)現(xiàn)的,。該類(lèi)實(shí)現(xiàn)了H．264．的解碼參數(shù)的設(shè)置與解碼操作,，主要調(diào)用封裝了H．264解碼的C++類(lèi)來(lái)實(shí)現(xiàn)。
    利用ffmpeg庫(kù)進(jìn)行H．264解碼時(shí),，需要自定義兩個(gè)關(guān)鍵函數(shù)：open_net_file()和read_buffer_frame(),。其中，open_net_file()函數(shù)完成與流媒體服務(wù)器的連接,，接收指定流媒體文件的流相關(guān)信息,，并返回類(lèi)型為AVFormatContext結(jié)構(gòu)體的值。read_buffer_frame()函數(shù)從bu-ffer緩沖中讀取一幀數(shù)據(jù),，并交由庫(kù)函數(shù)avcodec_decode_video()解碼,。
    (4)自定義接口的實(shí)現(xiàn)
    將Filter類(lèi)從自定義接口類(lèi)派生，并聲明自定義接口的所有接口方法,；然后在Filter類(lèi)的實(shí)現(xiàn)文件中實(shí)現(xiàn)這些接口法,，其實(shí)大都是調(diào)用應(yīng)用邏輯控制類(lèi)的相應(yīng)函數(shù)；最后在函數(shù)NonDelegatingQueryInterface中暴露我們的自定義接口,。
3．4 播放器的設(shè)計(jì)
    播放器采用Directshow應(yīng)用框架,，采取界面、控制邏輯和數(shù)據(jù)分離的三層程序設(shè)計(jì)方法,。界面類(lèi)直接從標(biāo)準(zhǔn)的對(duì)話(huà)框類(lèi)CDialog派生,，在界面類(lèi)中定義兩個(gè)自定義類(lèi)：數(shù)據(jù)封裝類(lèi)和邏輯控制類(lèi)。界面類(lèi)表達(dá)一種用戶(hù)操作邏輯,；數(shù)據(jù)封裝類(lèi)集中管理各種參數(shù),；邏輯控制類(lèi)具體實(shí)現(xiàn)業(yè)務(wù)應(yīng)用邏輯。采取Directshow應(yīng)用框架,，不必關(guān)心數(shù)據(jù)如何輸入和輸出,，這些問(wèn)題都由Filter框架負(fù)責(zé)，只需更多的關(guān)注數(shù)據(jù)處理的算法實(shí)現(xiàn),、效率優(yōu)化等問(wèn)題,。采取界面,、控制邏輯和數(shù)據(jù)分離的設(shè)計(jì)結(jié)構(gòu)，不僅使程序框架清晰,、容易被人理解，而且具有良好的移植性和擴(kuò)展性,。
    播放器基于Filter Graph Manager構(gòu)建包含網(wǎng)絡(luò)源Filter和H．264解碼Filter的Filter Graph,，即可實(shí)現(xiàn)網(wǎng)絡(luò)流媒體的播放。界面類(lèi)實(shí)現(xiàn)視頻顯示界面與用戶(hù)的操作交互,，控制邏輯可以控制視頻的播放,、暫停、停止,、解碼參數(shù)設(shè)置等,，數(shù)據(jù)類(lèi)實(shí)現(xiàn)對(duì)數(shù)據(jù)的操作管理。

4 結(jié)束語(yǔ)
   本流媒體播放器系統(tǒng)采用了Directshow應(yīng)用框架和H．264視頻編解碼標(biāo)準(zhǔn),，能很好的實(shí)現(xiàn)網(wǎng)絡(luò)流媒體視頻的播放,，具有結(jié)構(gòu)清晰、良好的可擴(kuò)展性與可移植性,。由于WINCE系統(tǒng)是微軟提供的嵌入式實(shí)時(shí)操作系統(tǒng),，提供了對(duì)Directshow的應(yīng)用支持，故本系統(tǒng)也可以很好的移植到win-ce的嵌入式應(yīng)用平臺(tái),，實(shí)現(xiàn)嵌入式端的流媒體視頻播放,。同時(shí)，本流媒體播放系統(tǒng)也可很好地移植到視頻點(diǎn)播系統(tǒng)中,，因其采用高壓縮比,、低碼率的H．264視頻編解碼標(biāo)準(zhǔn)。能有效減少網(wǎng)絡(luò)負(fù)載,、減小帶寬,，從而減輕網(wǎng)絡(luò)對(duì)流媒體傳輸中所存在的丟包、抖動(dòng),、延時(shí)等影響,。