摘  要： 近年來(lái),，隨著MOOC,、翻轉(zhuǎn)課堂等在線教育產(chǎn)品的推出，互聯(lián)網(wǎng)正漸漸改變著傳統(tǒng)的教學(xué)方式,，其關(guān)鍵因素在于優(yōu)質(zhì),、個(gè)性化教學(xué)視頻的錄制。本文介紹了一種基于TI DM365 芯片的嵌入式智能導(dǎo)播錄課系統(tǒng),，硬件上采用TI DM365 DSP芯片接收3路視頻和2路音頻,，并提供USB,、LAN及WiFi接口；軟件上采用FFmpeg開(kāi)源庫(kù)中先進(jìn)的音視頻編解碼庫(kù)libavcodec,，系統(tǒng)上位機(jī)軟件基于VS2013 C++開(kāi)發(fā),。該系統(tǒng)具有多路音、視頻混流解碼,，六種智能導(dǎo)播和切換模式,，本地、云端存儲(chǔ)和點(diǎn)播回放等功能,。系統(tǒng)測(cè)試結(jié)果表明：該系統(tǒng)性能穩(wěn)定,、音視頻延時(shí)率小于100 ms，所錄制的視頻的分辨率達(dá)到1080 p,、音質(zhì)效果佳,。與現(xiàn)有的錄課方式相比，本系統(tǒng)具有簡(jiǎn)約化,、便捷化,、經(jīng)濟(jì)化和人性化等優(yōu)勢(shì)。

　　關(guān)鍵詞： 智能導(dǎo)播,；錄課系統(tǒng),；FFmpeg；TI DM365,；DSP芯片技術(shù)

0 引言

　　近年來(lái),，隨著計(jì)算機(jī)軟硬件、互聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展,，信息化教學(xué)技術(shù)也在不斷更新,、進(jìn)步和發(fā)展。信息化教學(xué)為學(xué)習(xí)提供了全新的交流通訊手段,、豐富的資源和多樣化的學(xué)習(xí)方式,，為高效學(xué)習(xí)帶來(lái)了更多的契機(jī)[1]。MOOC[2]（慕課）作為一種在線課程開(kāi)發(fā)模式,，自2012年以來(lái)得到了快速的發(fā)展,。其主要教學(xué)內(nèi)容以個(gè)性化的教學(xué)視頻為主。現(xiàn)在比較受歡迎的慕課教學(xué)平臺(tái)coursera,，擁有1 120萬(wàn)以上的成員,，與世界118所大學(xué)合作提供939門課程。除了慕課之外,，SPOC（翻轉(zhuǎn)課堂）[3]這種重新調(diào)整課堂內(nèi)外的時(shí)間,，將學(xué)習(xí)的決定權(quán)從教師轉(zhuǎn)移給學(xué)生的教學(xué)方式也隨之普及。慕課教學(xué)和翻轉(zhuǎn)課堂等新型的教育模式,，打破了傳統(tǒng)教育資源壁壘,，重新整合優(yōu)質(zhì)資源的學(xué)習(xí)方法,，隨著知名度的提升，必然會(huì)成為世界教學(xué)的趨勢(shì)[4],。

　　慕課教學(xué)和翻轉(zhuǎn)課堂等新型教學(xué)方式的關(guān)鍵性因素是個(gè)性化教學(xué)視頻的錄制,。然而，視頻錄制卻存在著種種問(wèn)題?，F(xiàn)有視頻的錄制主要通過(guò)專業(yè)拍攝團(tuán)隊(duì)錄制,、錄課教室錄制、攝像機(jī)錄制,、軟件錄制四種方式,。通過(guò)訪問(wèn)調(diào)查，通過(guò)專業(yè)拍攝團(tuán)隊(duì)錄制其價(jià)格為1 000~ 1 500元每課時(shí),。而特殊布置過(guò)的智慧教室進(jìn)行錄制成本也較為昂貴,。以寧波大學(xué)為例，2014年,，寧波大學(xué)花費(fèi)230萬(wàn)元購(gòu)置16間教室,；2011年，錄課教室價(jià)格為平均62.5萬(wàn)元/間,。除此之外,，錄播教室受環(huán)境因素的制約大，一定程度上打擊了老師的積極性,。采訪通過(guò)軟件進(jìn)行錄制的老師,，發(fā)現(xiàn)通過(guò)電腦錄制視頻，由于沒(méi)有學(xué)生參與,，教師授課的真實(shí)感差,，導(dǎo)致教學(xué)效果不理想。同時(shí),，錄制視頻后期的剪輯成型需要一系列復(fù)雜的工具處理,，需要花費(fèi)大量時(shí)間和精力，讓許多優(yōu)秀的老師對(duì)新型的教學(xué)方式望而卻步,。

　　針對(duì)上述教學(xué)視頻錄制所存在的問(wèn)題，設(shè)計(jì)發(fā)明一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng),，它將龐大的智慧教室的所有設(shè)備以及相應(yīng)的功能濃縮在了一個(gè)機(jī)器人上,，同時(shí)將一系列復(fù)雜的視頻處理精簡(jiǎn)成為混合輸出的方式，可應(yīng)用于小學(xué),、初中,、高中、大學(xué)等各大教育機(jī)構(gòu)和想要傳播想法的個(gè)人等,。

1 系統(tǒng)總體設(shè)計(jì)

　　1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

　　所設(shè)計(jì)的智能導(dǎo)播錄課系統(tǒng)通過(guò)一個(gè)類人型機(jī)器人得以呈現(xiàn),，機(jī)器人由攝像頭,、麥克風(fēng)、平板電腦,、DM365芯片組成,。

　　圖1是整個(gè)系統(tǒng)的拓?fù)鋱D，該系統(tǒng)有三路視頻源,、兩路音頻源輸入,，集成在平板上的錄制回放下位機(jī)提供控制指令和實(shí)現(xiàn)人機(jī)交互，一路視頻信號(hào)采集教師的授課圖像,，一路視頻采集教師授課課件的圖像,，通過(guò)路由器將兩路視頻信號(hào)疊加，同時(shí)和音頻信號(hào)混頻,，并通過(guò)RJ45口TS流輸出,，最終通過(guò)開(kāi)發(fā)的軟件在PC終端上解碼顯示。系統(tǒng)提供WiFi,、USB,、RJ45高速LAN接口，方便教師將課件拷入系統(tǒng),，并將錄制完的視頻直接上傳至服務(wù)器或直接U盤輸出,。

　　1.2 子系統(tǒng)功能

　　1.2.1 視頻采集

　　視頻采集子系統(tǒng)包含三路視頻信號(hào)采集，第一路是教師攝像頭輸出的SDI信號(hào),，通過(guò)BNC接口傳遞給DM365教師視頻采集板,；第二路是平板電腦輸出的HDMI信號(hào)，通過(guò)VGA接口傳遞給DM365平板電腦視頻采集板,；第三路是學(xué)生攝像頭輸出的SDI信號(hào),，通過(guò)BNC接口傳遞給DM365學(xué)生視頻采集板。所有三路信號(hào)均由DM365達(dá)芬奇技術(shù)編碼成TS流,。

　　1.2.2 音頻采集

　　第一路是麥克風(fēng)采集的教師授課音頻AAC信號(hào),，通過(guò)標(biāo)準(zhǔn)3.5 mm接口輸出至DM365教師視頻采集板；第二路是平板電腦中講義聲音,，由HDMI轉(zhuǎn)VGA和標(biāo)準(zhǔn)3.5 mm接口輸出至DM365平板電腦視頻采集板,。

　　1.2.3 智能導(dǎo)播

　　（1）教師端平板識(shí)別教師上課指令,，對(duì)完整架構(gòu)的視頻TS流進(jìn)行保存,，實(shí)現(xiàn)一鍵錄制的功能，所錄制的視頻可以通過(guò)U盤輸出或直接上傳至百度云,。

　?。?）錄制回放下位機(jī)接收控制指令，解碼三路TS流并架構(gòu)進(jìn)行導(dǎo)播。導(dǎo)播方式有6種：課件全屏,、學(xué)生全屏,、教師全屏、畫(huà)中畫(huà)1（課件右主屏,、教師頭像左下角小屏）,、畫(huà)中畫(huà)2（課件全屏，教師頭像右上角小屏）,、畫(huà)中畫(huà)3（課件全屏,，學(xué)生右上角小屏）。

　　1.2.4 交互控制

　　交互控制指的是智能導(dǎo)播的軟件控制,，通過(guò)5224端口識(shí)別教師動(dòng)作并與特殊端口通信,。

　　1.2.5主存儲(chǔ)

　　智能導(dǎo)播錄課系統(tǒng)內(nèi)置導(dǎo)播模式軟件，通過(guò)錄制下位機(jī)整合回放錄課視頻,，以TS流的形式保存MPEG2-TS格式的文件,，實(shí)現(xiàn)視頻流的任一片段都可以進(jìn)行獨(dú)立解碼[5]。一方面,，所錄制的視頻可通過(guò)U盤拷貝,，方便后期簡(jiǎn)單修改；另一方面,，視頻可直接云端上傳,，讓學(xué)生能夠第一時(shí)間觀看課堂視頻。

2 硬件設(shè)計(jì)

　　2.1 音視頻采集與編碼

　　系統(tǒng)的三路視頻源,、兩路音頻源輸入均采用TI公司的DM365 DSP芯片技術(shù)進(jìn)行處理,，高速完成數(shù)字音/視頻信號(hào)的采集、編碼等工作,。如圖2所示,。

　　本系統(tǒng)首先由SDI攝像頭模組捕獲視頻，將捕獲的視頻數(shù)據(jù)送入核心處理器DM365中進(jìn)行圖像信號(hào)處理（ISP）,，然后利用處理器的硬件加速器（協(xié)處理器）進(jìn)行相應(yīng)的編碼壓縮等操作,，得到編碼流數(shù)據(jù)，接著基于TCP/IP協(xié)議通過(guò)網(wǎng)絡(luò)將編碼后的數(shù)據(jù)（TS流）傳輸?shù)脚c它相連接的下位機(jī)中,。由于編碼所需系統(tǒng)資源較大,，所以需要將單一節(jié)點(diǎn)的編碼運(yùn)算壓力分?jǐn)偟饺废挛粰C(jī)上實(shí)現(xiàn)，整個(gè)系統(tǒng)可接收3路視頻輸入和2路音頻輸入,。

　　對(duì)3路SDI高清視頻信號(hào)的處理,，其數(shù)據(jù)流的載體框架如下：一方面SDI視頻從輸入口經(jīng)過(guò)GV7601并經(jīng)GV8500后輸出；另一方面GV7601與核心視頻處理器DM365和CPLD處理視頻流的編碼壓縮等,。其中GV7601相當(dāng)于一個(gè)中繼器，而GV8500相當(dāng)于驅(qū)動(dòng)，實(shí)時(shí)地完成高清視頻流從輸入到完整輸出的整個(gè)過(guò)程,。為了能夠?qū)PLD和DSP編程,，專門設(shè)置了JTAG接口和RS232接口。

　　對(duì)2路音頻信號(hào)的處理擬采用基于MPEG-2AAC音頻編碼技術(shù)[6],，其壓縮比可達(dá)到18：1,。AAC的音頻算法在壓縮能力上遠(yuǎn)遠(yuǎn)超過(guò)了其他傳統(tǒng)音頻壓縮算法（如MP3等），它能同時(shí)支持多達(dá)48個(gè)音軌,、15個(gè)低頻音軌,、更多種采樣率和比特率、多種語(yǔ)言的兼容能力,、更高的解碼效率,。

　　2.2 導(dǎo)播控制

　　（1）錄制過(guò)程：一塊DM365 DSP芯片采集平板上所顯示教師講義的HDMI信號(hào),，編碼形成教師講義TS流,，教師按照平板中提示界面對(duì)課程進(jìn)行一鍵錄制，平板同時(shí)提取教師對(duì)教學(xué)講義的交互信號(hào),。使用時(shí),，教師手動(dòng)滑動(dòng)平板電腦的觸摸屏對(duì)教學(xué)講義進(jìn)行操作，或者利用無(wú)線遙控器實(shí)現(xiàn)對(duì)教學(xué)講義的控制,，這些行為被提取抽象成控制信號(hào),，控制信號(hào)通過(guò)特定端口同時(shí)與三塊DM365 DSP芯片輸出的TS流信號(hào)匯集并傳送到錄制回放下位機(jī)中。

　?。?）多種導(dǎo)播模式與回放實(shí)現(xiàn)：通過(guò)設(shè)計(jì)智能導(dǎo)播錄課系統(tǒng)實(shí)現(xiàn)了六種導(dǎo)播模式：課件全屏,、學(xué)生全屏、教師全屏,、畫(huà)中畫(huà)1（課件右主屏,、教師頭像左下角小屏）、畫(huà)中畫(huà)2（課件全屏,，教師頭像右上角小屏）,、畫(huà)中畫(huà)3（課件全屏，學(xué)生右上角小屏）,。錄制回放下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流,、學(xué)生視頻TS流、教師講義TS流,，并接收特定端口傳出的控制信號(hào)對(duì)TS流進(jìn)行解碼架構(gòu)實(shí)現(xiàn)回放,，混頻輸出顯示。

　?。?）網(wǎng)絡(luò)支持：TS流的讀入均采用TCP/IP協(xié)議通信,，教師授課TS流,、學(xué)生視頻TS流、教師講義TS流統(tǒng)一采用TCP端口5223進(jìn)行socket流通信,；控制信號(hào)通過(guò)TCP端口5224進(jìn)行傳輸,。

　　2.3 云端存儲(chǔ)

　　系統(tǒng)具有WiFi、USB,、RJ45高速LAN接口,，提供U盤拷貝和云端上傳兩種輸出方式。通過(guò)U盤拷貝和云端上傳兩種輸出方式,，教師在授課結(jié)束后既可通過(guò)U盤拷貝已完成編碼的視頻,，也可選擇上傳至特殊的百度云賬號(hào)，依托百度云的海量數(shù)據(jù)存儲(chǔ)和斷點(diǎn)上傳功能,，教師和學(xué)生均可登錄云盤在線觀看或是下載視頻,，實(shí)現(xiàn)多終端多平臺(tái)的支持，云端錄課視頻可在電腦端和手機(jī)端下載觀看,。本系統(tǒng)服務(wù)器架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)的脫機(jī)工作,，更大程度地減輕了教師上傳的工作量和運(yùn)營(yíng)維護(hù)的時(shí)間成本。

3 軟件設(shè)計(jì)

　　3.1 系統(tǒng)整體軟件設(shè)計(jì)

　　高清SDI音視頻編碼器以嵌入式視頻處理板為系統(tǒng)核心,，處理器依靠?jī)?nèi)部集成的H.264高清編碼協(xié)處理器HDVICP完成視頻的H.264實(shí)時(shí)壓縮編碼,，輸出TS音、視頻流,。由ARM端程序接收到音視頻流,，然后按照恰當(dāng)?shù)姆庋b策略封裝成TS包，最后通過(guò)以太網(wǎng)卡發(fā)送給接收端,。

　　系統(tǒng)整體軟件設(shè)計(jì)圖如圖3所示,。

　　智能導(dǎo)播錄課系統(tǒng)通過(guò)軟件層面的設(shè)計(jì)，讓教師們可以隨時(shí)隨地進(jìn)行課程的錄制,，并及時(shí)地將錄制完成的課程進(jìn)行上傳,，讓學(xué)生們可以在第一時(shí)間通過(guò)手機(jī)或者電腦進(jìn)行課程的學(xué)習(xí)。

　　3.2 采集模塊

　　采集模塊的軟件流程圖如圖4,。主要分為以下幾部分：連接IP并確定端口,、定義結(jié)構(gòu)體、設(shè)置視頻圖像參數(shù),、設(shè)置音頻聲音參數(shù),。

　　3.3 視頻數(shù)據(jù)編碼模塊

　　視頻數(shù)據(jù)編碼模塊的軟件流程圖如圖5。主要分為以下幾部分：創(chuàng)建sock,、讀取預(yù)設(shè)文件中的對(duì)應(yīng)板子的IP地址,、通過(guò)socket接受一幀數(shù)據(jù)、關(guān)閉socket,。

　　3.4 智能導(dǎo)播模塊

　　智能導(dǎo)播錄課系統(tǒng)通過(guò)與視頻流相同信道,、不同端口進(jìn)行導(dǎo)播控制指令的發(fā)送與接收,。教師機(jī)控制端實(shí)現(xiàn)軟件智能切換算法，檢測(cè)用戶錄課過(guò)程中的特定行為,，并判斷決定以何種導(dǎo)播模式,，通過(guò)5224端口向回放端發(fā)送指令；終端回放端接收控制端發(fā)出的控制指令,，讀取特定端口的socket，并按導(dǎo)播模式顯示,。

　　云端存儲(chǔ)流程圖如圖6所示,。智能導(dǎo)播錄制系統(tǒng)通過(guò)下位機(jī)根據(jù)內(nèi)置的導(dǎo)播模式，回放整合后的視頻,，并形成新的一路TS流實(shí)現(xiàn)文件的保存,，保存文件的格式為MPEG2-TS。教師可以通過(guò)U盤拷貝或者直接通過(guò)云端上傳存儲(chǔ),。

　　3.6 回放模塊

　　錄制下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流,、學(xué)生視頻TS流、教師講義TS流,，并且接收特定端口傳出的控制信號(hào),。通過(guò)開(kāi)源FFMPEG庫(kù)實(shí)現(xiàn)錄課過(guò)程中所有的視頻編解碼、編譯及播放功能[7]以及選擇導(dǎo)播模式來(lái)實(shí)現(xiàn)對(duì)TS流的解碼與架構(gòu),。通過(guò)下位機(jī)上的具有智能導(dǎo)播切換功能的軟件播放器,，將TI DM365輸出的H.264視頻文件和AAC音頻文件以TS流上傳至云端服務(wù)器，提供點(diǎn)播回放功能,。

4 結(jié)果及分析

　　4.1 系統(tǒng)成果

　　系統(tǒng)成果圖如圖7所示,，在智能錄課導(dǎo)播機(jī)器人正面放置平板、攝像頭及麥克風(fēng),。平板模擬教師與學(xué)生面對(duì)面交流的情境,，機(jī)器“學(xué)生”面對(duì)教師聽(tīng)課，模擬學(xué)生課堂反應(yīng),；攝像頭能實(shí)時(shí)錄制教師上課和學(xué)生聽(tīng)課的過(guò)程,，集成智慧教室的功能；麥克風(fēng)放大老師的聲音,。通過(guò)DM365芯片采集視頻信號(hào)至路由器,，通過(guò)路由器及內(nèi)網(wǎng)交換同時(shí)結(jié)合多媒體講義混成輸出視頻，可直接上傳至云端服務(wù)器進(jìn)行廣播,，通過(guò)PC,、Android等終端供學(xué)生使用。本實(shí)驗(yàn)調(diào)試時(shí)所使用的終端電腦為華碩N53T筆記本電腦,。

　　4.2 軟件效果圖

　　如圖8是使用智能導(dǎo)播錄課機(jī)器人錄制的教學(xué)視頻所截取的一張畫(huà)中畫(huà)1（課件右主屏,、教師頭像左下角小屏）的效果圖,。

　　4.3 系統(tǒng)性能測(cè)試及分析

　　輸出視頻格式：MPEG2-TS；

　　導(dǎo)播方式：兩路音頻,、三路視頻混疊后的六種智能導(dǎo)播切換模式,；

　　輸出方式：USB、WiFi,、網(wǎng)絡(luò)云盤,；

　　視頻清晰度：1 080 p；

　　音視頻延時(shí)率：<100 ms,。

　　智能導(dǎo)播錄課系統(tǒng)錄制的視頻格式為MPEG2-TS,，MPEG2-TS是一種用于音效、影像與資料的通信協(xié)議,。對(duì)HDV信號(hào)的采集與其他DV一樣實(shí)時(shí)采集,，視頻源文件轉(zhuǎn)換成為MPEG2格式并保存。智能導(dǎo)播錄制系統(tǒng)所采用的導(dǎo)播方式為兩路音視頻混疊,，并且音視頻的延時(shí)率達(dá)到小于100 ms,。導(dǎo)播視頻根據(jù)教師上課課件以及教師上課的肢體反應(yīng)實(shí)時(shí)進(jìn)行切換，輸出視頻的分辨率達(dá)到1 080 p,。錄制結(jié)束時(shí),，視頻可以直接通過(guò)USB輸出或者通過(guò)網(wǎng)絡(luò)直接上傳至云盤，方便學(xué)生進(jìn)行觀看,。

　　4.4 系統(tǒng)特色與優(yōu)勢(shì)

　?。?）系統(tǒng)通過(guò)簡(jiǎn)約化的設(shè)計(jì)，將一個(gè)錄播教室的一整套功能濃縮到了一個(gè)單機(jī)中,；

　?。?）系統(tǒng)通過(guò)便捷化的處理，把一套繁瑣的視頻處理程序精簡(jiǎn)成了直接通過(guò)U盤輸出和云端存儲(chǔ),；

　?。?）系統(tǒng)具有經(jīng)濟(jì)化的思想，成本價(jià)格控制在1萬(wàn)元左右,；

　?。?）系統(tǒng)秉持著人性化的理念，將原本枯燥無(wú)味的錄制過(guò)程轉(zhuǎn)換成了一個(gè)模擬環(huán)境,，讓教師能夠真實(shí)地感受上課環(huán)境,，提高視頻的質(zhì)量。

5 結(jié)論

　　本文設(shè)計(jì)了一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng),，該系統(tǒng)能夠顯著地提高教師錄課視頻的質(zhì)量,。通過(guò)智能導(dǎo)播錄課系統(tǒng)進(jìn)行視頻的錄制，在節(jié)約錄課成本的同時(shí),，與現(xiàn)有的其他錄課方式相比,，機(jī)器所占的空間明顯減少,，對(duì)操作者的處理技術(shù)水平幾乎沒(méi)有任何要求，同時(shí)輸出視頻的分辨率為1 080 p,，音頻與視頻的延時(shí)率小于100 ms,。與現(xiàn)有的錄課方式相比，本文設(shè)計(jì)的智能導(dǎo)播錄課系統(tǒng)簡(jiǎn)約化,、便捷化,、經(jīng)濟(jì)化和人性化的特點(diǎn)相對(duì)突出，輸出視頻的優(yōu)質(zhì)性也更加顯著,。

參考文獻(xiàn)

　　[1] 劉斌.信息化教學(xué)有效性的理論思考——對(duì)信息化教學(xué)本質(zhì)的再認(rèn)識(shí)[J].現(xiàn)代教育技術(shù),，2013（3）：26-29.

　　[2] 宋德清.MOOC在社區(qū)教育中的應(yīng)用路徑探索——基于開(kāi)放大學(xué)建設(shè)的視角[J].遠(yuǎn)程教育雜志，2013（6）：68-74.

　　[3] 張金磊,，王穎，張寶輝.翻轉(zhuǎn)課堂教學(xué)模式研究[J].遠(yuǎn)程教育雜志,，2012（4）：46-51.

　　[4] 程國(guó)均,，陳詠陶.注重學(xué)生參與的創(chuàng)新教學(xué)模式[J].西南民族學(xué)院學(xué)報(bào)：哲學(xué)社會(huì)科學(xué)版，2002（5）：240-242.

　　[5] 陳衛(wèi)兵,，徐重陽(yáng),，劉衛(wèi)忠.ES流復(fù)用成MPEG-2 TS流的緩沖區(qū)控制策略及實(shí)現(xiàn)[J].中國(guó)有線電視，2003（5）：6-9.

　　[6] 陳濤,，黃東軍.MPEG-2／4AAC實(shí)時(shí)音頻編碼器實(shí)現(xiàn)性能優(yōu)化研究進(jìn)展[J].電聲技術(shù),，2008（5）：45-50.

　　[7] 蔣志峰．FFmpeg的快速音視頻開(kāi)發(fā)方法[J]．單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2008（1）：69-71.