1 系統(tǒng)硬件組成與網(wǎng)絡(luò)架構(gòu)
攝像機(jī)硬件核心采用三星公司推出的基于ARM9架構(gòu)的S3C2440A芯片,，該處理器主頻達(dá)到400 MHz可以滿足實(shí)時壓縮，MJPEG視頻流可以達(dá)到320×240分辨率25 fps的性能要求,。外圍搭配64 MB SDRAM,、256 MBNAND Flash，網(wǎng)絡(luò)功能由DM9000以太網(wǎng)MAC控制芯片負(fù)責(zé),，攝像頭模塊由USB控制器控制,，系統(tǒng)供電由3片LM71117組成，分別輸出3．3 V,、1．8 V,、1．25 V電壓，輔助外圍接口構(gòu)成攝像機(jī)硬件結(jié)構(gòu),。S3C2440A系統(tǒng)硬件框圖如圖1所示,。
網(wǎng)絡(luò)攝像機(jī)是互聯(lián)網(wǎng)上的TCP／IP設(shè)備，系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如圖2所示,。其中在家庭區(qū)域內(nèi)根據(jù)安防的特點(diǎn)在大門走廊,、客廳內(nèi)、陽臺區(qū)域分別布置攝像機(jī),，再由網(wǎng)線連接到路由器,，配置路由器參數(shù)映射每個攝像機(jī)獨(dú)立端口與IP地址，即完成Internet接入,。遠(yuǎn)端由固定位置的PC機(jī),，移動位置的3G筆記本和隨身攜帶的3G Android手機(jī)組成,，PC機(jī)可以通過WEB瀏覽器訪問與控制網(wǎng)絡(luò)攝像機(jī)，Android手機(jī)通過客戶端實(shí)現(xiàn)實(shí)時訪問,。
2 系統(tǒng)軟件設(shè)計
2．1 網(wǎng)絡(luò)攝像機(jī)軟件設(shè)計
搭建攝像機(jī)需要Linux系統(tǒng)環(huán)境,，首先移植Bootloader，對Linux 2．6．32內(nèi)核進(jìn)行裁剪,，加載Linux UVC(USB video device class)驅(qū)動及相關(guān)驅(qū)動,，將編譯好的Linux系統(tǒng)鏡像燒寫到ARM板Nand Flash中，對Bootloader沒置啟動引導(dǎo)地址,，即完成軟件運(yùn)行環(huán)境搭建,。
分析網(wǎng)絡(luò)攝像機(jī)性能需求與拓展性，須滿足下列條件：
視頻監(jiān)控實(shí)時性,；
支持多客戶端同時連接,；
圖像識別算法或預(yù)留接口；
功能模塊化滿足后期開發(fā)可擴(kuò)展,。
因此,，采用多線程架構(gòu)與互斥鎖機(jī)制來保證實(shí)時性、模塊化的思想設(shè)計代碼結(jié)構(gòu),。軟件程序主流程如圖3所示,。
其中主要實(shí)現(xiàn)如下功能。
①初始化Linux V4L2接口,，必須按照V4L2標(biāo)準(zhǔn)結(jié)構(gòu)初始化結(jié)構(gòu)體,，其中包括struct v412_capability cap；struct v412_format fmt,；struct v412_buffer buf,；struct v412_requestbuffers rb；struct v412_streamparm setfps,。此外將視頻設(shè)備名,、視頻寬度、視頻高度,、幀率,、視頻格式和抓取方法傳遞給函數(shù)init_videoIn(struct vdIn*vd，char*device,，int width,，intheight，int fps,，int format,，int grabmethod)實(shí)現(xiàn)初始化。值得注意的是眾多USB camera并不支持JPEG格式視頻流直接抓取，針對YUYV格式抓取卻有廣泛支持,。后期進(jìn)行圖像識別算法操作時直接分析YUYV原始圖像數(shù)據(jù),，將節(jié)省JPEG壓縮數(shù)據(jù)轉(zhuǎn)換為原始圖像數(shù)據(jù)的大量運(yùn)算開銷，因此采用YUYV抓取模式,。
②創(chuàng)建核心圖像處理線程,。在該線程內(nèi)實(shí)現(xiàn)：抓取功能。
UVC設(shè)備單幀抓取,，uvcGrab(struct vdIn*vd)函數(shù)實(shí)現(xiàn)單幀YUYV格式的原始圖像拷貝到內(nèi)存,，采用高效的mmap內(nèi)存映射方法讀取,；
JPEG核心算法實(shí)現(xiàn),，JPEG壓縮算法占用大量CPU時間，下一小節(jié)將詳細(xì)討論,。
③創(chuàng)建套接字接口,。為實(shí)現(xiàn)多用戶同時連接網(wǎng)絡(luò)攝像機(jī)，必須采用socket服務(wù)線程,，每當(dāng)有新用戶連接同時產(chǎn)生一個新線程與之對應(yīng),，實(shí)現(xiàn)多用戶端同步監(jiān)控。
④搭建基于Web瀏覽器訪問方式的Web主頁,。嵌入式設(shè)備資源有限,，輕量級的Web Server主要有：Boa、Httpd,、Thttpd等。本設(shè)計選用開源的Boa,、交叉編譯Boa源碼配置boa．conf文件,，配置系統(tǒng)etc自啟動shell加入Boa程序，將編寫HTML頁面文件放入系統(tǒng)中對應(yīng)的www目錄后即可正常工作,。
2．2 MJPEG壓縮算法研究與實(shí)現(xiàn)
MJPEG(Motion Joint Photographic Experts Group)視頻編碼格式,，把運(yùn)動的視頻序列作為連續(xù)的靜止圖像來處理，這種壓縮方式單獨(dú)完整地壓縮每一幀,，編輯過程中可隨機(jī)存儲每一幀,，可進(jìn)行精確到幀的編輯。MJPEG單幀壓縮算法為JPEG(Joint Photographic Experts Group),。人眼視覺生理特性決定眼睛對構(gòu)成圖像的不同頻率成分具有不同的敏感度,。JPEG壓縮是有損壓縮，但損失的部分是人類視覺不容易察覺到的部分,，利用眼睛對色彩域中的高頻信息部分不敏感的特點(diǎn),，節(jié)省大量需要處理的數(shù)據(jù)信息。一幀原始圖像數(shù)據(jù)對其進(jìn)行JPEG算法編碼過程分兩大部分：
①空間冗余度，去除視覺上的多余信息,；
②結(jié)構(gòu)(靜態(tài))冗余度,，去除數(shù)據(jù)本身的多余信息。
JPEG編碼中主要涉及包括：DCT,、zigzag編碼,、量化、RLE編碼,、范式Huffman編碼,、DC(直流分量)的編碼。JPEG編碼流程如圖4所示,。
DCT(Discrete Cosine Transform)變換,，又稱離散余弦變換是可逆的、離散的正交變換,。它將原始圖像色彩空問域轉(zhuǎn)換為頻譜域,。由于相鄰兩點(diǎn)像素色彩很多是接近的，壓縮這些不需要的數(shù)據(jù)必須利用圖像信號的頻譜特性,。JPEG壓縮原理的理論依據(jù)是圖像信號頻譜線大都分布在0～6 MHz范圍內(nèi),，而且一幅圖像內(nèi)大多數(shù)為低頻頻譜線，而高頻的譜線只占圖像比例很低的圖像邊緣或者細(xì)微紋理細(xì)節(jié)的信號時才出現(xiàn),。根據(jù)這一特性,，在做數(shù)字圖像處理時對包含信息量大的低頻譜區(qū)域分配較多的比特數(shù)，相反的對于包含信息量低的高頻譜區(qū)域分配較少的比特數(shù),，達(dá)到圖像壓縮的目的,，而圖像質(zhì)量并沒有肉眼可察覺的降低。除了DCT變換,，常用的變化算法還有：Walsh-Hadamard沃爾什哈達(dá)瑪變換,、哈爾變換、傅氏變換等,。
DCT變換公式為：
當(dāng)u=v≠0時C(u)=1,，C(v)=1。f(i,，j)經(jīng)過DCT變換之后,，F(xiàn)(0，0)是直流系數(shù),，其他參數(shù)時為交流系數(shù),。經(jīng)過DCT變換后一幅圖像的DCT系數(shù)塊集中在8×8矩陣的左上方，這里直流DC系數(shù)幅度最大,，這一矩陣區(qū)域集中了圖像的大部分低頻頻譜分量,，離矩陣左上角越遠(yuǎn)的高頻頻譜幾乎不含圖像信息,。變換過程本身雖然并不產(chǎn)生壓縮作用，但是變換后的頻率系數(shù)卻非常有利于碼率壓縮,。
量化是對DCT系數(shù)的一個優(yōu)化過程,，利用了肉眼的高頻不敏感特性對數(shù)據(jù)進(jìn)行大幅壓縮。整個過程是簡易的把頻率域的每個成份除以對應(yīng)的常數(shù),，并對結(jié)果四舍五入取整,，整個流程的目的是減少非零的系數(shù)以及增加零值系數(shù)數(shù)目。量化是有損運(yùn)算,，是圖像質(zhì)量下降的主要因素,。對于人眼對亮度與色差的敏感性不一致，分別使用亮度量化表與色度量化表,。對量化后的數(shù)據(jù)采用zigzag蛇形編碼,，這是因為交流分量中含有大量的零值，zigzag編碼可以產(chǎn)生更多連續(xù)的零值,，對下一步使用行程編碼非常有利,。
行程編碼(Run Length Coding)是一種根據(jù)相同數(shù)據(jù)連續(xù)重復(fù)多次的情況簡化表示的算法。例如,，5555333333999按照行程編碼表示為(5,，4)(3，6)(9,，3)可以對數(shù)據(jù),，尤其是大量的零值壓縮數(shù)據(jù)長度。
編碼后的數(shù)據(jù)還須通過Huffman編碼來壓縮,，Huffman編碼的最大特點(diǎn)是使出現(xiàn)頻率較高的數(shù)字小于8位,，而出現(xiàn)頻率低的數(shù)字大于8位，這使得數(shù)據(jù)大幅壓縮,。
到此數(shù)據(jù)的壓縮過程結(jié)束,，對壓縮后的數(shù)據(jù)按照J(rèn)PEG文件格式要求進(jìn)行保存，加上文件開始標(biāo)記Start Of Image=FFD8,，文件結(jié)束標(biāo)記End Of Image =FFD9，量化表標(biāo)記Deftne Quanttzation Table=FFDB,，霍夫曼編碼表標(biāo)記Ddfine Huffman Table=FFC4,，幀開始標(biāo)記Star Of Frame=FFC0等標(biāo)記，再加上圖片識別信息字節(jié)標(biāo)記就最終形成完整的可用于傳輸或存儲的JPEG幀圖像,，通過套接字接口不間斷地發(fā)送JPEG圖像即形成MJPEG視頻流,。
為提高CPU效率，減少進(jìn)程間切換產(chǎn)生的開銷,，將壓縮算法函數(shù)集成到單一線程里,。JPEG核心壓縮編碼函數(shù)MCUcode實(shí)現(xiàn)如下：
其中Y1,、Y2、Y3,、Y4對應(yīng)水平排列的4像素亮度值,，CB、CR是水平排列以2像素為1單位像素的色度值,。
3 Android客戶端設(shè)計
Android是Google公司推出的針對移動設(shè)備的操作系統(tǒng),，底層采用Linux內(nèi)核，應(yīng)用程序采用類Java語言編寫,，并運(yùn)行于類JVM虛擬機(jī)的Dalvik虛擬機(jī)之上,。該系統(tǒng)具有開放源碼免費(fèi)授權(quán)的優(yōu)勢，功能完善和成熟,，已獲得廠商的廣泛支持和大量市場份額,。eclipse IDE開發(fā)環(huán)境友善，因此選用Android系統(tǒng)作為物聯(lián)網(wǎng)攝像機(jī)客戶端開發(fā)平臺,。
Android程序一般由多個Activity,、Intent、Content Provider,、Service等程序框架組成,，其中最基礎(chǔ)的是Activity活動類，該類相當(dāng)于軟件運(yùn)行時的一個頁面,，在頁面之上可添加各種控件,，如button按鍵、ImageView圖片,、Text boxes,、Lists列表等。除此以外還負(fù)責(zé)監(jiān)聽系統(tǒng)事件,，負(fù)責(zé)啟動其他的Activity類,。在多個Activity類之間跳轉(zhuǎn)就需要用到Intent類，Intent類有兩個重要部分：動作和動作對應(yīng)的數(shù)據(jù),。常用的動作有MAIN,、VIEW、PICK,、EDIT等,，動作數(shù)據(jù)則以URI形式表示。通過Intent類還能傳遞參數(shù),，作用類似鏈條串起Activity類,，Activity類跳轉(zhuǎn)圖如圖5所示。
解析視頻流須先由網(wǎng)絡(luò)獲取數(shù)據(jù)流,，實(shí)現(xiàn)的方法代碼如下：
需要注意的是,，在AndroidManifest．xml文件中需加上
結(jié)語
本文描述了網(wǎng)絡(luò)攝像機(jī)的軟件設(shè)計與MJPEG算法原理,，結(jié)合Android移動技術(shù),，開發(fā)了整套系統(tǒng)；并實(shí)際應(yīng)用于驗證系統(tǒng),，取得了良好結(jié)果,。期望在后續(xù)工作中涉足圖像識別算法、物體追蹤算法,、人體行為偵測算法等圖像領(lǐng)域,，使網(wǎng)絡(luò)攝像機(jī)變得更智能。