《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 使用Vivado HLS實現(xiàn)OpenCV的開發(fā)流程

使用Vivado HLS實現(xiàn)OpenCV的開發(fā)流程

2014-01-02
作者:Harvest Guo
來源:Xilinx DSP Specilist

    本文通過對OpenCV中圖像類型和函數(shù)處理方法的介紹,,通過設計實例描述在vivadoHLS中調用OpenCV庫函數(shù)實現(xiàn)圖像處理的幾個基本步驟,,完成從OpenCV設計到RTL轉換綜合的開發(fā)流程,。

    開源計算機視覺 (OpenCV) 被廣泛用于開發(fā)計算機視覺應用,它包含2500多個優(yōu)化的視頻函數(shù)的函數(shù)庫并且專門針對臺式機處理器和GPU進行優(yōu)化。OpenCV的用戶成千上萬,OpenCV的設計無需修改即可在 Zynq器件的ARM處理器上運行,。但是利用OpenCV實現(xiàn)的高清處理經(jīng)常受外部存儲器的限制,尤其是存儲帶寬會成為性能瓶頸,存儲訪問也會限制功耗效率,。使用VivadoHLS高級語言綜合工具,,可以輕松實現(xiàn)OpenCV C++視頻處理設計到RTL代碼的轉換,輸出硬件加速器或者直接在FPGA上實現(xiàn)實時視頻處理功能,。同時,,Zynq All-programmable SOC是實現(xiàn)嵌入式計算機視覺應用的極好方法,很好解決了在單一處理器上實現(xiàn)視頻處理性能低功耗高的限制,,Zynq高性能可編程邏輯和嵌入式ARM內(nèi)核,,是一款功耗優(yōu)化的集成式解決方案。

1   OpenCV中圖像IplImage, CvMat, Mat 類型的關系和VivadoHLS中圖像hls::Mat類型介紹

    OpenCv中常見的與圖像操作有關的數(shù)據(jù)容器有Mat,,cvMat和IplImage,這三種類型都可以代表和顯示圖像,,但是,,Mat類型側重于計算,數(shù)學性較高,,openCV對Mat類型的計算也進行了優(yōu)化,。而CvMat和IplImage類型更側重于“圖像”,opencv對其中的圖像操作(縮放,、單通道提取,、圖像閾值操作等)進行了優(yōu)化。在opencv2.0之前,,opencv是完全用C實現(xiàn)的,,但是,IplImage類型與CvMat類型的關系類似于面向對象中的繼承關系,。實際上,,CvMat之上還有一個更抽象的基類----CvArr,這在源代碼中會常見,。

1.1 OpenCV中Mat類型:矩陣類型(Matrix),。

    在openCV中,Mat是一個多維的密集數(shù)據(jù)數(shù)組,??梢杂脕硖幚硐蛄亢途仃嚒D像,、直方圖等等常見的多維數(shù)據(jù),。

    Mat有3個重要的方法:

   1、Mat mat = imread(const String* filename);            讀取圖像

  2,、imshow(const string frameName, InputArray mat);     顯示圖像

  3,、imwrite (const string& filename, InputArray img);    儲存圖像

    Mat類型較CvMat與IplImage類型來說,有更強的矩陣運算能力,,支持常見的矩陣運算,。在計算密集型的應用當中,,將CvMat與IplImage類型轉化為Mat類型將大大減少計算時間花費。

1.2 OpenCV中CvMat類型與IplImage類型:“圖像”類型

    在openCV中,,Mat類型與CvMat和IplImage類型都可以代表和顯示圖像,,但是,Mat類型側重于計算,,數(shù)學性較高,,openCV對Mat類型的計算也進行了優(yōu)化。而CvMat和IplImage類型更側重于“圖像”,,openCV對其中的圖像操作(縮放,、單通道提取、圖像閾值操作等)進行了優(yōu)化,。

補充:IplImage由CvMat派生,,而CvMat由CvArr派生即CvArr -> CvMat -> IplImage

     CvArr用作函數(shù)的參數(shù),無論傳入的是CvMat或IplImage,,內(nèi)部都是按CvMat處理,。

    在openCV中,沒有向量(vector)的數(shù)據(jù)結構,。任何時候,,但我們要表示向量時,用矩陣數(shù)據(jù)表示即可,。

    但是,,CvMat類型與我們在線性代數(shù)課程上學的向量概念相比,更抽象,,比如CvMat的元素數(shù)據(jù)類型并不僅限于基礎數(shù)據(jù)類型,,比如,下面創(chuàng)建一個二維數(shù)據(jù)矩陣:

      CvMat* cvCreatMat(int rows ,int cols , int type);

這里的type可以是任意的預定義數(shù)據(jù)類型,,比如RGB或者別的多通道數(shù)據(jù),。這樣我們便可以在一個CvMat矩陣上表示豐富多彩的圖像了。

1.3 OpenCV中IplImage類型

    在OpenCV類型關系上,,我們可以說IplImage類型繼承自CvMat類型,,當然還包括其他的變量將之解析成圖像數(shù)據(jù)。

    IplImage類型較之CvMat多了很多參數(shù),,比如depth和nChannels,。在普通的矩陣類型當中,通常深度和通道數(shù)被同時表示,,如用32位表示RGB+Alpha.但是,,在圖像處理中,我們往往將深度與通道數(shù)分開處理,這樣做是OpenCV對圖像表示的一種優(yōu)化方案,。

IplImage的對圖像的另一種優(yōu)化是變量origin----原點,。在計算機視覺處理上,一個重要的不便是對原點的定義不清楚,,圖像來源,,編碼格式,甚至操作系統(tǒng)都會對原地的選取產(chǎn)生影響,。為了彌補這一點,,openCV允許用戶定義自己的原點設置。取值0表示原點位于圖片左上角,,1表示左下角,。

1.4 VivadoHLS中圖像數(shù)據(jù)類型hls::Mat<>

    VivadoHLS視頻處理函數(shù)庫使用hls::Mat<>數(shù)據(jù)類型,這種類型用于模型化視頻像素流處理,,實質等同于hls::steam<>流的類型,,而不是OpenCV中在外部memory中存儲的matrix矩陣類型。因此,,在HLS實現(xiàn)OpenCV的設計中,需要將輸入和輸出HLS可綜合的視頻設計接口,,修改為Video stream接口,,也就是采用HLS提供的video接口可綜合函數(shù),實現(xiàn)AXI4 video stream到VivadoHLS中hls::Mat<>類型的轉換,。

2   使用VivadoHLS實現(xiàn)OpenCV到RTL代碼轉換的流程

2.1 OpenCV設計中的權衡

    OpenCV圖像處理是基于存儲器幀緩存而構建的,,它總是假設視頻frame數(shù)據(jù)存放在外部DDR 存儲器中,因此,,OpenCV對于訪問局部圖像性能較差,,因為處理器的小容量高速緩存性能不足以完成這個任務。而且出于性能考慮,,基于OpenCV設計的架構比較復雜,,功耗更高。在對分辨率或幀速率要求低,,或者在更大的圖像中對需要的特征或區(qū)域進行處理是,,OpenCV似乎足以滿足很多應用的要求,但對于高分辨率高幀率實時處理的場景下,,OpenCV很難滿足高性能和低功耗的需求,。

基于視頻流的架構能提供高性能和低功耗,鏈條化的圖像處理函數(shù)能減少外部存儲器訪問,,針對視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡單,,更易于用FPGA部件,使用VivadoHLS中的數(shù)據(jù)流優(yōu)化來實現(xiàn).

VivadoHLS對OpenCV的支持,不是指可以將OpenCV的函數(shù)庫直接綜合成RTL代碼,,而是需要將代碼轉換為可綜合的代碼,,這些可綜合的視頻庫稱為HLS視頻庫,由VivadoHLS提供,。

    OpenCV函數(shù)不能直接通過HLS進行綜合,,因為OpenCV函數(shù)一般都包含動態(tài)的內(nèi)存分配、浮點以及假設圖像在外部存儲器中存放或者修改,。

    VivadoHLS視頻庫用于替換很多基本的 OpenCV函數(shù),,它與OpenCV具有相似的接口和算法,主要針對在FPGA架構中實現(xiàn)的圖像處理函數(shù),,包含了專門面向FPGA的優(yōu)化,,比如定點運算而非浮點運算(不必精確到比特位),片上的行緩存(line buffer)和窗口緩存(window buffer),。

2.2 VivadoHLS實現(xiàn)OpenCV設計流程介紹

使用VivadoHLS實現(xiàn)OpenCV的開發(fā),,主要的三個步驟如下:

  1. 在計算機上開發(fā)OpenCV應用,由于是開源的設計,,采用C++的編譯器對其進行編譯,,仿真和debug,最后產(chǎn)生可執(zhí)行文件,。這些設計無需修改即可在 ARM內(nèi)核上運行OpenCV應用,。
  2. 使用I/O函數(shù)抽取FPGA實現(xiàn)的部分,并且使用可綜合的VivadoHLS Video庫函數(shù)代碼代替OpenCV函數(shù)的調用,。
  3. 運行HLS生成RTL代碼,,在vivadoHLS工程中啟動co-sim,重用openCV的測試激勵驗證產(chǎn)生的RTL代碼,。在ISE或者Vivado開發(fā)環(huán)境中做RTL的集成和SOC/FPGA實現(xiàn),。

2.2.1        VivadoHLS視頻庫函數(shù)

HLS視頻庫是包含在hls命名空間內(nèi)的C++代碼。#include “hls_video.h”

與OpenCV等具有相似的接口和等效的行為,,例如:

           OpenCV庫:cvScale(src, dst, scale, shift);

           HLS視頻庫:hls::catfrustrated:cale<...>(src, dst, scale, shift);

一些構造函數(shù)具有類似的或替代性的模板參數(shù),,例如:

           OpenCV庫:cv::Mat mat(rows, cols, CV_8UC3);

           HLS視頻庫:hls::Mat mat(rows, cols);

                      ROWS和COLS指定處理的最大圖像尺寸

 

              表2.2.1 VivadoHLS視頻處理函數(shù)庫

 

2.2.2        VivadHLS實現(xiàn)OpenCV設計的局限性

    首先,必須用HLS視頻庫函數(shù)代替OpenCV調用,。

    其次,,不支持OpenCV通過指針訪問幀緩存,可以在HLS中使用VDMA和 AXI Stream adpater函數(shù)代替。

    再者,,不支持OpenCV的隨機訪問,。HLS對于讀取超過一次的數(shù)據(jù)必須進行復制,更多的例子可以參見見hls::catvery-happy:uplicate()函數(shù),。

最后,,不支持OpenCVS的In-place更新,,比如  cvRectangle (img, point1, point2)。

 

下面表格2.2.2列舉了OpenCV中隨機訪問一幀圖像處理對應HLS視頻庫的實現(xiàn)方法,。

 

 

OpenCV

HLS視頻庫

讀操作

pix = cv_mat.at(i,j)

pix = cvGet2D(cv_img,i,j)

hls_img >> pix

寫操作

cv_mat.at(i,j) = pix

cvSet2D(cv_img,i,j,pix)

hls_img << pix

               表 2.2.2 OpenCV和HLS中對一幀圖像像素訪問對應方法

2.3 用HLS實現(xiàn)OpenCV應用的實例(快速角點濾波器image_filter)

    我們通過快速角點的例子,,說明通常用VivadoHLS實現(xiàn)OpenCV的流程。首先,,開發(fā)基于OpenCV的快速角點算法設計,,并使用基于OpenCV的測試激勵仿真驗證這個算法。接著,,建立基于視頻數(shù)據(jù)流鏈的OpenCV處理算法,,改寫前面直覺的OpenCV的通常設計,這樣的改寫是為了與HLS視頻庫處理機制相同,,方便后面步驟的函數(shù)替換,。最后,將改寫的OpenCV設計中的函數(shù),,替換為HLS提供的相應功能的視頻函數(shù),,并用VivadoHLS綜合,最后在Xilinx開發(fā)環(huán)境下實現(xiàn),。當然,,這些可綜合代碼也可在處理器或ARM上運行。

2.3.1        設計基于OpenCV的視頻濾波器設計和測試激勵

    在這個例子中,,首先設計開發(fā)完全調用OpenCV庫函數(shù)的快速角點濾波器設計opencv_image_filter.cpp和這個濾波器的測試激勵opencv_image_filter_tb.cpp,,測試激勵用于仿真驗證opencv_image_filter算法功能。算法和測試激勵設計代碼如下:

 

void opencv_image_filter(IplImage* src, IplImage* dst)

{

    IplImage* gray = cvCreateImage( cvGetSize(src), 8, 1 ); 

    std::vector keypoints;

cv::Mat gray_mat(gray,0);

 

    cvCvtColor( src, gray, CV_BGR2GRAY ); 

    cv::FAST( gray_mat, keypoints, 20, true);

    cvCopy( src,dst);

 

    for (int i=0;i

    {

      cvRectangle(dst, cvPoint(keypoints[i].pt.x-1,keypoints[i].pt.y-1),

                                cvPoint(keypoints[i].pt.x+1,keypoints[i].pt.y+1), cvScalar(255,0,0),CV_FILLED);

    }

    cvReleaseImage( &gray ); 

}   

       例子2.3.1.1 通常的OpenCV視頻處理代碼opencv_image_filter.cpp

 

int main (int argc, char** argv) {

    IplImage* src=cvLoadImage(INPUT_IMAGE);

    IplImage* dst = cvCreateImage(cvGetSize(src), src->depth, src->nChannels);

        

    opencv_image_filter(src, dst);

    cvSaveImage(OUTPUT_IMAGE_GOLDEN, dst);

 

    cvReleaseImage(&src);

    cvReleaseImage(&dst);

    return 0;

}

   例子2.3.1.2 OpenCV視頻處理測試激勵代碼opencv_image_filter_tb.cpp

 

    上面的例子是直接調用OpenCV在處理器上軟件應用實現(xiàn)的例子,,可以看到在算法設計中直接調用opencV庫函數(shù),,測試激勵讀入圖像,,經(jīng)過濾波器處理輸出的圖像保存分析,。可以看到,,算法的處理基于IPIimage類型,,輸入和輸出圖像都使用此類型。

 

2.3.2        使用IO函數(shù)和Vivado HLS視頻庫替換OpenCV函數(shù)庫

    需要特別說明的是,,xilinx通常使用的視頻處理模塊都是基于axi4 streaming協(xié)議進行不同模式見像素數(shù)據(jù)的交互,,也就是我們所說的AXI4 video接口協(xié)議格式。為了和xilinx視頻庫接口協(xié)議統(tǒng)一,,VivadoHLS提供了視頻接口函數(shù)庫,,用于從OpenCV程序中抽取需要進行RTL綜合轉換的頂層函數(shù),并把這些可綜合的代碼和OpenCV不可綜合轉換的代碼進行隔離,。然后,,對需要綜合轉換為RTL代碼的OpenCV函數(shù),,用xilinx VivadoHLS提供相應功能的可綜合video函數(shù)進行替換。最后在C/C++編譯環(huán)境下仿真驗證OpenCV代碼和替換video函數(shù)后功能的一致,,并在VivadoHLS開發(fā)環(huán)境中做代碼綜合和產(chǎn)生RTL代碼的co-sim混合仿真驗證,。

 

VivadoHLS可綜合的視頻接口函數(shù):

Hls::AXIvideo2Mat  轉換AXI4 video stream到hls::Mat表示格式

Hls::Mat2AXIvideo  轉換hls::Mat數(shù)據(jù)格式到AXI4 video stream

 

    首先,我們對2.3.1中OpenCV的設計進行改寫,,改寫的代碼還是完全基于OpenCV的函數(shù),,目的是為了對視頻的處理機制基于視頻流的方式,與VivadoHLS視頻庫提供函數(shù)的處理機制一致,。下面是OpenCV設計的另一種寫法:

 

void opencv_image_filter(IplImage* src, IplImage* dst)

{

    IplImage* gray = cvCreateImage( cvGetSize(src), 8, 1 ); 

    IplImage* mask = cvCreateImage( cvGetSize(src), 8, 1 ); 

    IplImage* dmask = cvCreateImage( cvGetSize(src), 8, 1 ); 

    std::vector keypoints;

    cv::Mat gray_mat(gray,0);

   

    cvCvtColor(src, gray, CV_BGR2GRAY ); 

    cv::FAST(gray_mat, keypoints, 20, true);

    GenMask(mask, keypoints);

    cvDilate(mask,dmask);

    cvCopy(src,dst);

    PrintMask(dst,dmask,cvScalar(255,0,0));

 

    cvReleaseImage( &mask ); 

    cvReleaseImage( &dmask ); 

    cvReleaseImage( &gray ); 

}

例子2.3.2.1另一種OpenCV設計應用opencv_image_filter.cpp

 

    其次,,使用Vivado HLS視頻庫替代標準OpenCV函數(shù),并使用可綜合的視頻接口函數(shù),,采用video stream的方式交互視頻數(shù)據(jù),。用于FPGA的硬件可綜合模塊由VivadoHLS視頻庫函數(shù)與接口組成,我們用hls命名空間中的相似函數(shù)代替OpenCV函數(shù),,增加接口函數(shù)構建AXI4 stream類型的接口,。

 

void image_filter(AXI_STREAM& input, AXI_STREAM& output, int rows, int cols)

{

//Create AXI streaming interfaces for the core

#pragma HLS RESOURCE variable=input core=AXIS metadata="-bus_bundle INPUT_STREAM"

#pragma HLS RESOURCE variable=output core=AXIS metadata="-bus_bundle OUTPUT_STREAM"

#pragma HLS RESOURCE core=AXI_SLAVE variable=rows metadata="-bus_bundle CONTROL_BUS"

#pragma HLS RESOURCE core=AXI_SLAVE variable=cols metadata="-bus_bundle CONTROL_BUS"

#pragma HLS RESOURCE core=AXI_SLAVE variable=return metadata="-bus_bundle CONTROL_BUS"

 

#pragma HLS interface ap_stable port=rows

#pragma HLS interface ap_stable port=cols

    hls::Mat      _src(rows,cols);

    hls::Mat      _dst(rows,cols);

#pragma HLS dataflow

    hls::AXIvideo2Mat(input, _src);

    hls::Mat      src0(rows,cols);

    hls::Mat      src1(rows,cols);

#pragma HLS stream depth=20000 variable=src1.data_stream

    hls::Mat      mask(rows,cols);

    hls::Mat      dmask(rows,cols);

    hls::catfrustrated:calar<3,unsigned char> color(255,0,0);

    hls::catvery-happy:uplicate(_src,src0,src1);

    hls::Mat      gray(rows,cols);

    hls::CvtColor(src0,gray);

    hls::FASTX(gray,mask,20,true);

    hls::catvery-happy:ilate(mask,dmask);

    hls::cattongue:aintMask(src1,dmask,_dst,color);

    hls::Mat2AXIvideo(_dst, output);

}

例子2.3.2.2 采用VivadoHLS視頻庫替換后可綜合的設計opencv_image_filter.cpp

 

  最后,在vivadoHLS開發(fā)環(huán)境下綜合例子2.3.2.2的設計,,產(chǎn)生RTL代碼并重用OpenCV的測試激勵驗證RTL代碼功能,。

3   VHLS實現(xiàn)OpenCV設計流程總結

    通過上面章節(jié)介紹以及在vivadoHLS工具中實現(xiàn)opencV設計的例子可以看出,OpenCV函數(shù)可實現(xiàn)計算機視覺算法的快速原型設計,,并使用VivadoHLS工具轉換為RTL代碼在FPGA或者Zynq SOC上實現(xiàn)高分辨率高幀率的實時視頻處理,。計算機視覺應用與生俱來的異構特性,使其需要軟硬件相結合的實現(xiàn)方案,。Vivado HLS視頻庫能加快OpenCV函數(shù)向FPGA可編程架構的映射,。

 

 

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉載的所有的文章、圖片,、音/視頻文件等資料的版權歸版權所有權人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者。如涉及作品內(nèi)容,、版權和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。