《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 模擬設(shè)計(jì) > 設(shè)計(jì)應(yīng)用 > 基于wince的網(wǎng)絡(luò)音視頻通信
基于wince的網(wǎng)絡(luò)音視頻通信
摘要: 下位機(jī)為mini2440,其操作系統(tǒng)是WINCE5.0,,需要在下位機(jī)上插入U(xiǎn)SB攝像頭(中星微301,驅(qū)動(dòng)為15分鐘限制版),,以及插入麥克風(fēng)耳機(jī),網(wǎng)絡(luò)視頻傳輸,,首先把mini2440與USB攝像頭連接在一起,通過(guò)USB攝像頭捕捉圖像(320x240,,15fps)...
Abstract:
Key words :

wince網(wǎng)絡(luò)音視頻通訊

  下位機(jī)為 mini2440 ,,其操作系統(tǒng)是WINCE 5.0,需要在下位機(jī)上插入U(xiǎn)SB攝像頭(中星微301,,驅(qū)動(dòng)為15分鐘限制版),,以及插入麥克風(fēng)耳機(jī),;

  上位機(jī)為普通的PC,需要插入麥克風(fēng)耳機(jī),;

  上位機(jī)和下位機(jī)的開(kāi)發(fā)環(huán)境為Visual Studio 2005,。

  接下來(lái),說(shuō)說(shuō)這個(gè)東東的功能,,和工作原理:

  網(wǎng)絡(luò)視頻傳輸,,首先把mini2440與USB攝像頭連接在一起,通過(guò)USB攝像頭捕捉圖像(320 x 240,,15fps),,然后通過(guò)UDP協(xié)議發(fā)送至PC端,在PC屏幕上以15fps的速度顯示,。

  網(wǎng)絡(luò)音頻傳輸,,首先在mini2440和PC上都插入麥克風(fēng)耳機(jī),兩者都同時(shí)錄音,,并以G.726編碼,,然后把壓縮包通過(guò)UDP協(xié)議發(fā)送至對(duì)方,而在錄音的同時(shí),,也對(duì)來(lái)自對(duì)方的壓縮包用G.726解碼,,然后再在耳機(jī)播放音頻。

  最后,,說(shuō)說(shuō)這個(gè)版本相對(duì)于以前的改進(jìn):

  把以前的RTP改為UDP,,實(shí)踐證明,在這個(gè)系統(tǒng)中,,用UDP的效率會(huì)比RTP好,,畢竟不需要用到RTP的流量監(jiān)測(cè)等高級(jí)功能,僅僅能通信就行了,;

  以前版本基于100M網(wǎng)卡,,現(xiàn)在支持10M網(wǎng)卡了,在100M網(wǎng)卡的機(jī)器上,,可以直接把JPEG圖片發(fā)過(guò)去,,但是,在10M的網(wǎng)卡是,,每次數(shù)據(jù)包最大為1440比特,,因此要兼容10M網(wǎng)卡,就需要把圖像分割成多個(gè)1440大小的數(shù)據(jù)包,,分別發(fā)送了,。

  源代碼可以到這里下載(2008.12.01才可以下載):

  http://download.csdn.net/user/hellogv

  網(wǎng)絡(luò)音視頻通信

  下面說(shuō)說(shuō)關(guān)鍵的源代碼:

  以下是WINCE部分的代碼

  #pragma once

  #include “winsock2.h”

  //RTP支持

  #include “。.\UDP\UDP.h”

  //音頻支持

  #include “WaveIn.h”

  #include “WaveOut.h”

  //G726支持

  #include “g726.h”

  //攝像頭支持

  #include “。\video\\zc030xlib.h”

  #define Video_Width 320 //視頻寬度

  #define Video_Height 240 //視頻長(zhǎng)度

  #define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小

  #define Compr_AudioData_Size 120 //壓縮后音頻塊的大小

  //音頻輸入輸出變量

  CWaveIn *g_pIn;

  CWaveOut *g_pOut;

  char pin[AudioData_Size],,pout[Compr_AudioData_Size];

  char waveout[AudioData_Size];

  //攝像頭輸入變量

  DWORD dwSize;

  DWORD dwJpg;

  DWORD dwRtnSize[2];/* 0 - for bmp,, 1 - for jpeg */

  LPBYTE lpFrameBuffer;

  LPBYTE lpJpgBuffer ;

  //控制變量

  bool isCameraEnabled;

  //UDP

  CUDP_CE m_CEUdp;

  class AVClass

  {

  public:

  //=====================================================================

  // 語(yǔ)法格式: void InitAV(CWnd * p)

  // 實(shí)現(xiàn)功能: 初始化音頻和視頻,用于錄音,、播放音頻,,以及播放視頻

  // 參數(shù): p為窗口類(lèi)指針

  // 返回值: 無(wú)

  //=====================================================================

  void InitAV(CWnd * p,int local_port,,CString remote_ip,,int remote_port)

  {

  //-----------------------初始化UDP-----------------------//

  m_CEUdp.m_OnUdpRecv = OnUdpCERecv;

  DWORD nResult = m_CEUdp.Open(p,local_port,,remote_ip,,remote_port);

  if (nResult 《=0)

  {

  AfxMessageBox(_T(“打開(kāi)端口失敗”));

  return;

  }

  //------------------------控制變量-----------------------//

  isCameraEnabled=false;

  //-------------------------視頻--------------------------//

  int i = capInitCamera();

  dwSize = 320 * 240 * 3;

  dwJpg = 40960;

  lpFrameBuffer = (LPBYTE) malloc (dwSize);

  lpJpgBuffer = (LPBYTE) malloc (dwJpg);

  if(i《=0)

  {

  //::MessageBox(NULL, L“Init camera error ”,, L“Notice”,, 0);

  goto video_error;//出錯(cuò),釋放空間

  }

  if (0 ,!= capSetVideoFormat(0,, VIDEO_PALETTE_RGB24, VIDEO_SIZE_SIF))

  {

  //::MessageBox(NULL,, L“SetVideoFormat error ”,, L“Notice”, 0);

  goto video_error;//出錯(cuò),,釋放空間

  }

  if (capStartCamera(0) ,!= 0)

  {

  //::MessageBox(NULL, L“StartCamera error ”,, L“Notice”,, 0);

  capStopCamera(0);

  goto video_error;//出錯(cuò),釋放空間

  }

  //沒(méi)出錯(cuò),,進(jìn)行視頻(控制狀態(tài)),、音頻設(shè)置

  isCameraEnabled=true;

  goto audio;

  video_error:

  free (lpFrameBuffer);

  lpFrameBuffer = NULL;

  free (lpJpgBuffer);

  lpJpgBuffer = NULL;

  //-------------------------音頻--------------------------//

  audio:

  g_pOut = new CWaveOut();

  g_pIn = new CWaveIn();

  g_pOut-》StartPlay();

  g_pIn-》StartRec(OnRecCapAndSend,(DWORD)p);

  }

  //=====================================================================

  // 語(yǔ)法格式: void FreeAV()

  // 實(shí)現(xiàn)功能: 釋放音頻,、視頻

  // 參數(shù): 無(wú)

  // 返回值: 無(wú)

  //=====================================================================

  void FreeAV()

  {

  //-------------------------視頻--------------------------//

  if(isCameraEnabled)

  capStopCamera(0);

  //-------------------------音頻--------------------------//

  g_pOut-》StopPlay();

  g_pIn-》StopRec();

  delete g_pOut;

  delete g_pIn;

  //------------------------UDP------------------------//

  m_CEUdp.Close();

  }

  //=====================================================================

  // 語(yǔ)法格式: void RecAndPlay(WPARAM wParam,,LPARAM lParam)

  // 實(shí)現(xiàn)功能: 接收網(wǎng)絡(luò)傳來(lái)的音頻,以及播放

  // 參數(shù): wParam,,表示數(shù)據(jù),;lParam,表示數(shù)據(jù)長(zhǎng)度

  // 返回值: 無(wú)

  //=====================================================================

  static void CALLBACK OnUdpCERecv(CWnd * pWnd,,char* buf,int nLen,sockaddr * addr)

  {

  g726_Decode(buf,,(unsigned char*)waveout);

  g_pOut-》Play(waveout,,AudioData_Size);

  }

  //=====================================================================

  // 語(yǔ)法格式: static void OnRecCapAndSend(char *data,int length,,DWORD userdata)

  // 實(shí)現(xiàn)功能: 錄音,,攝像并且發(fā)送

  // 參數(shù): data表示數(shù)據(jù),length表示數(shù)據(jù)長(zhǎng)度,,userdata暫時(shí)沒(méi)用

  // 返回值: 無(wú)

  //=====================================f================================

  static void OnRecCapAndSend(char *data,,int length,DWORD userdata)

  {

  //-------------------------音頻--------------------------//

  memcpy(pin,,g_pIn-》buffer,,AudioData_Size);

  g726_Encode((unsigned char*)pin,pout);

  m_CEUdp.SendData(pout,,Compr_AudioData_Size);

  //-------------------------視頻--------------------------//

  if(isCameraEnabled==false)//如果程序不能用攝像頭

  return;

  Sleep(15);

  int index=0;

  memset(lpFrameBuffer,, 0, dwSize);

  memset(lpJpgBuffer,, 0,, dwJpg);

  dwRtnSize[0] = dwRtnSize[1] = 0;

  if (capGetPicture(index, lpFrameBuffer,, dwSize,, lpJpgBuffer, dwJpg,, dwRtnSize) == 0)

  {

  /// m_CEUdp.SendData((const char *)lpJpgBuffer,,dwRtnSize[1]);

  char tmp[1440];

  int tmp_i=0;

  for(int i=0;i《dwRtnSize[1];i++)

  {

  tmp[tmp_i]=lpJpgBuffer[i];

  tmp_i++;

  if(tmp_i==1440)

  {

  m_CEUdp.SendData(tmp,1440);

  tmp_i=0;

  }

  else if(i==dwRtnSize[1]-1)

  {

  m_CEUdp.SendData(tmp,,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);

  tmp_i=0;

  }

  }

  }

  }

  };

  以下是PC部分的關(guān)鍵代碼

  #pragma once

  #include “winsock2.h”

  //UDP支持

  #include “,。.\UDP\UDP.h”

  //音頻支持

  #include “WaveIn.h”

  #include “waveout.h”

  //G726支持

  #include “g726.h”

  //視頻支持

  #include “Gdiplus.h”

  using namespace Gdiplus;

  #define VideoData_Size 1440 //每塊視頻數(shù)據(jù)包的大小

  #define Video_Width 320 //視頻寬度

  #define Video_Height 240 //視頻長(zhǎng)度

  #define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小

  #define Compr_AudioData_Size 120 //壓縮后音頻塊的大小

  //音頻輸入輸出變量

  CWaveIn *g_pIn;

  CWaveOut *g_pOut;

  char pin[AudioData_Size],pout[Compr_AudioData_Size];

  char wave_data[AudioData_Size];

  //UDP變量

  CUDP_CE m_CEUdp;

  //視頻輸入變量

  GdiplusStartupInput m_gdiPlusInPut;

  ULONG_PTR m_gdiPlusToken;

  char video_data[Video_Width*Video_Height];

  int index;//視頻數(shù)據(jù)當(dāng)前索引

  class AVClass

  {

  private:

  public:

  //=====================================================================

  // 語(yǔ)法格式: void InitAV(CWnd * p)

  // 實(shí)現(xiàn)功能: 初始化音頻和視頻,,用于錄音,、播放音頻,以及播放視頻

  // 參數(shù): p為窗口類(lèi)指針

  // 返回值: 無(wú)

  //=====================================================================

  void InitAV(CWnd * p,,int local_port,,CString remote_ip,int remote_port)

  {

  //-------------------------UDP連接--------------------------//

  m_CEUdp.m_OnUdpRecv = OnUdpCERecv;

  DWORD nResult = m_CEUdp.Open(p,,local_port,,remote_ip,remote_port);

  if (nResult 《=0)

  {

  AfxMessageBox(_T(“打開(kāi)端口失敗”));

  return;

  }

  //-------------------------音頻--------------------------//

  g_pOut = new CWaveOut();

  g_pIn = new CWaveIn();

  g_pOut-》StartPlay();

  g_pIn-》StartRec(OnRecording,,(DWORD)p);

  //-------------------------視頻--------------------------//

  GdiplusStartup( &m_gdiPlusToken,, &m_gdiPlusInPut, NULL ); //初始化GDI+

  memset(video_data,0,,Video_Width*Video_Height);

  index=0;

  }

  //=====================================================================

  // 語(yǔ)法格式: void FreeAV()

  // 實(shí)現(xiàn)功能: 釋放音頻,、視頻

  // 參數(shù): 無(wú)

  // 返回值: 無(wú)

  //=====================================================================

  void FreeAV()

  {

  //-------------------------音頻--------------------------//

  g_pOut-》StopPlay();

  g_pIn-》StopRec();

  delete g_pOut;

  delete g_pIn;

  //-------------------------視頻--------------------------//

  GdiplusShutdown(m_gdiPlusToken); //銷(xiāo)毀GDI+

  //------------------------UDP--------------------------//

  m_CEUdp.Close();

  }

  //=====================================================================

  // 語(yǔ)法格式: void RecAndPlay(WPARAM wParam,LPARAM lParam,,HWND hwnd)

  // 實(shí)現(xiàn)功能: 接收網(wǎng)絡(luò)傳來(lái)的音頻,,以及播放

  // 參數(shù): wParam,表示數(shù)據(jù),;lParam,,表示數(shù)據(jù)長(zhǎng)度;hwnd,,表示顯示視頻的窗口句柄

  // 返回值: 無(wú)

  //=====================================================================

  static void CALLBACK OnUdpCERecv(CWnd *pWnd,,char* buf,int nLen,,sockaddr * addr)

  {

  /*測(cè)試收到的數(shù)據(jù)大小

  CString tmp;

  tmp.Format(L“%d”,,nLen);

  MessageBox(0,tmp,,0,,0);

  return;*/

  //-------------------------如果是音頻數(shù)據(jù)--------------------------//

  if(nLen==Compr_AudioData_Size)

  {

  g726_Decode(buf,(unsigned char*)wave_data);

  g_pOut-》Play(wave_data,,AudioData_Size);

  return;

  }

  //-------------------------如果是視頻數(shù)據(jù)--------------------------//

  if(nLen==VideoData_Size)//完整的視頻數(shù)據(jù)塊

  {

  for(int i=0;i《nLen;i++)

  {

  video_data[index]=buf[i];

  index++;

  }

  return;

  }

  //視頻數(shù)據(jù)塊的最后一塊

  for(int i=0;i《nLen;i++)

  {

  video_data[index]=buf[i];

  index++;

  }

  //如果JPEG圖像特別大,,則肯定是出錯(cuò),則拋棄

  if(index》Video_Width*Video_Height)

  {

  //MessageBox(0,,“緩沖區(qū)出錯(cuò)”,,“錯(cuò)誤信息”,0);

  return;

  }

  try{

  IPicture *pPic;

  IStream *pStm ;

  //分配全局存儲(chǔ)空間

  HGLOBAL hGlobal=GlobalAlloc(GMEM_MOVEABLE,,index);

  LPVOID pvData=NULL ;

  //鎖定分配內(nèi)存塊

  pvData=GlobalLock(hGlobal);

  //復(fù)制數(shù)據(jù)包video_data到pvData

  memcpy(pvData,,video_data,index);

  GlobalUnlock(hGlobal);

  CreateStreamOnHGlobal(hGlobal,,TRUE,,&pStm);

  ULARGE_INTEGER pSeek;

  LARGE_INTEGER dlibMove ={ 0 } ;

  pStm-》Seek(dlibMove,STREAM_SEEK_SET ,,&pSeek);

  // Sleep(15);

  //裝入圖形文件

  if(FAILED(OleLoadPicture(pStm,,index,TRUE,,IID_IPicture,,(LPVOID*)&pPic)))

  {//附:如果video_data這個(gè)數(shù)組包含的圖像有錯(cuò),則OleLoadPicture 容易產(chǎn)生讀寫(xiě)內(nèi)存錯(cuò)誤

  // pPic-》Release();

  // pStm-》Release();

  return ;

  }

  Image img(pStm,,0);

  Graphics mGraphics(GetDC(pWnd-》m_hWnd));

  mGraphics.DrawImage(&img,, 0,, 0, Video_Width,, Video_Height);

  img.~Image();//會(huì)出錯(cuò)

  mGraphics.~Graphics();

  pPic-》Release();

  pStm-》Release();

  }

  catch(CException * e)

  {}

  memset(video_data,,0,Video_Width*Video_Height);

  index=0;

  }

  //=====================================================================

  // 語(yǔ)法格式: static void OnRecording(char *data,,int length,DWORD userdata)

  // 實(shí)現(xiàn)功能: 釋放音頻

  // 參數(shù): data表示數(shù)據(jù),,length表示數(shù)據(jù)長(zhǎng)度,,userdata暫時(shí)沒(méi)用

  // 返回值: 無(wú)

  //=====================================================================

  static void OnRecording(char *data,int length,,DWORD userdata)

  {

  memcpy(pin,,g_pIn-》buffer,AudioData_Size);

  g726_Encode((unsigned char*)pin,,pout);

  m_CEUdp.SendData(pout,,Compr_AudioData_Size);

  }

  };

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載,。