基于PXA255和嵌入式QT的IP視頻電話(huà)設計

傳統的ip電話(huà)是將語(yǔ)音信號轉變成數字信號，進(jìn)行打包和壓縮，在數據網(wǎng)上進(jìn)行傳輸。但近年來(lái)，人們已經(jīng)不滿(mǎn)足于只能聽(tīng)到語(yǔ)音，還希望能見(jiàn)到對方的圖像。本系統就是針對人們的這一需求，在intel的pxa255平臺上利用qt/embedded圖形開(kāi)發(fā)工具設計的一個(gè)ip視頻電話(huà)系統。

1 硬件系統結構

整個(gè)系統主要是在intel pxa255評估平臺sitsang板上實(shí)現的。pxa255是基于intel的xscale架構的嵌入式處理器，該平臺配備了大量的硬件資源。整個(gè)系統的硬件結構如圖1所示。

2 軟件系統結構

系統中采用的是基于qt/embedded 2.3.10版本的嵌入式圖形庫。該圖形庫是基于linux系統的frame buffer機制的，并使用基于該圖形庫的qtopia 2.2.1 pda版本的窗口環(huán)境管理系統。qt/embedded是一個(gè)完整的自包含gui和基于linux的嵌入式平臺開(kāi)發(fā)工具，是qt的嵌入式開(kāi)發(fā)版本。

音頻和視頻信號的采集、壓縮、播放和傳輸都是建立在該圖形界面和嵌入式linux內核以上的，所以，在交叉編譯移植嵌入式linux內核時(shí)，要正確配置對usb、video4linux、攝像頭和音頻設備的支持以及對frame buffer機制的支持。交叉編譯嵌入式qt時(shí)，要配置使其支持多線(xiàn)程、jpeg算法庫、音頻設備以及qvfb（基于x11的虛擬frame buffer機制）。本文主要討論ip視頻電話(huà)系統的設計實(shí)現，故嵌入式linux內核和嵌入式qt的配置編譯過(guò)程不再詳述。整個(gè)系統的軟件結構如圖2所示。

3 系統的具體設計

本ip視頻電話(huà)系統主要由音頻采集/播放模塊、視頻采集/播放模塊和網(wǎng)絡(luò )傳輸模塊組成。音頻和視頻模塊采樣本地數據，壓縮處理后交給網(wǎng)絡(luò )傳輸模塊，由其發(fā)送到另一對話(huà)端，并從網(wǎng)絡(luò )傳輸模塊接收對方的音頻和視頻數據處理后進(jìn)行播放。

3.1 網(wǎng)絡(luò )傳輸模塊設計

系統啟動(dòng)后，本地服務(wù)器端即對5000端口進(jìn)行監聽(tīng)。若有ip電話(huà)連接進(jìn)來(lái)，則接受連接，為其分配套接字資源，并根據通話(huà)類(lèi)型，生成相應的音頻、視頻類(lèi)實(shí)例來(lái)處理相應的音頻、視頻數據。系統可以實(shí)現視頻通話(huà)，也可以只進(jìn)行語(yǔ)音通話(huà)，即實(shí)現傳統ip電話(huà)的功能，因為音頻、視頻數據格式不同，需要分別做不同的處理，故采用兩個(gè)不同的套接字來(lái)進(jìn)行處理，網(wǎng)絡(luò )傳輸模塊服務(wù)器端的基本流程如圖3所示。

本地網(wǎng)絡(luò )服務(wù)器端用從qserversocket類(lèi)繼承的子類(lèi)ipphoneserver實(shí)現。qt/embedded類(lèi)庫已經(jīng)對網(wǎng)絡(luò )操作進(jìn)行了很好的封裝，所以系統只利用qt的信號和槽機制，給ipphoneserver類(lèi)增加一個(gè)新的信號－－voidnewconnect（int）。信號所帶的參數為套接字號，并重載了qserversocket的虛子函數成員void newconnect（intsocket）。一旦發(fā)現有新的連接，它將把服務(wù)器端給新連接指定的接收套接字號（int socket）通過(guò)信號newconnect（int）發(fā)送出來(lái)，以便主程序設置對應的數據處理套接字。

在系統主程序中啟動(dòng)服務(wù)器，并將服務(wù)器實(shí)例的newconnect（int）信號連接到主程序的newconnect（int）槽函數上。一旦來(lái)了新的連接，server的newconnect（int）被發(fā)出，則由主程序的newconnect（int）槽函數接收套接字號并判斷是音頻還是視頻連接后，將其指定給相應的音頻或視頻數據傳輸套接字，啟動(dòng)服務(wù)器的代碼如下：

server＝new ipphoneserver（（tport－＞text（））.toushort（））；connect（server，signal（newconnect（int）），slot（new－connect（int）））；

具體與音頻/視頻模塊相關(guān)連進(jìn)行數據傳輸的套接字從qsocket類(lèi)繼承來(lái)的子類(lèi)ippdatasock實(shí)現，它增加了一個(gè)新的qdatastream類(lèi)指針成員變量ds來(lái)進(jìn)行數據的傳輸處理，在ippdatasock的構造函數中被實(shí)例化。

為音頻和視頻進(jìn)行數據傳輸的套接字實(shí)例分別為adatasock和vdatasock。若從已方發(fā)起連接，先通過(guò)qt的信號和槽機制設定相應的套接字連接、關(guān)閉和其他處理槽函數，再使用connecttohost（）函數連接到遠端服務(wù)器即可。音頻套接字實(shí)例化代碼如下：

adatasock＝new ippdatasock（this）； connect（adatasock，signal（connected（）），slot（tconnected（）））； connect（adatasock，signal（connectionclosed（）），slot（tclosed（）））； connect（adatasock，signal（readyread（）），ipaudio，slot（canplay（）））； connect（adatasock，signal（error（int）），slot（terror（int）））； adatasock－＞connecttohost（tserver－＞text（），（tport－＞text（））.toushort（））；

3.2 音頻采集/播放模塊設計

音頻采集/播放模塊主要是實(shí)現ip電話(huà)的音頻處理，由自定義類(lèi)ipaudio來(lái)實(shí)現，因為系統要同時(shí)發(fā)送本地音頻數據給對話(huà)端并接收來(lái)自對話(huà)端的音頻數據在本地播放，而只有一個(gè)音頻編解碼設備，所以音頻設備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。

系統采用的是linux操作系統，其下的音頻編程遵循oss（open sound system）音頻接口標準，oss是unix/linux平臺上統一的音頻接口，只要音頻處理應用程序按照oss的api來(lái)編寫(xiě)，它就可以提供源代碼級的可移植性。

linux下的設備全部使用設備文件來(lái)管理，本系統使用的數字音頻設備為/dev/dsp?？梢圆シ呕蜾浿茢底只穆曇?，讀這個(gè)設備就相當于錄音，寫(xiě)這個(gè)設備就相當于放音，它使用8位（無(wú)符號）線(xiàn)性編碼，其主要指標參數有：采樣速率（電話(huà)為8kbps）、聲道數目（單聲道、立體聲）和采樣分辨率（8位、16位）。

在進(jìn)行音頻的采集和播放之前，必須先打開(kāi)該音頻設備并適當設置一些工作參數，這些都在ip audio類(lèi)的構造函數中實(shí)現，其中的一些參數和操作都被定義在"soundcard.h"頭文件中。

首先，要打開(kāi)音頻設備。因為系統在通話(huà)時(shí)要同時(shí)進(jìn)行錄音和放音，所以使用讀寫(xiě)模式，相關(guān)代碼片斷如下：

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，o_rdwr））＜0） …//錯誤處理
打開(kāi)設備后，為了正常地工作，設置一些相應的工作參數。

1）先設置為全雙工工作模式，并檢查是否設置成功，代碼如下：



設置好各個(gè)參數后，就可以進(jìn)行視頻的采集和播放了，采集及錄音使用oss提供的read（）函數，播放則使用對應的write（）函數，直接對音頻設備/dev/dsp進(jìn)行操作，由于進(jìn)行ip電話(huà)通話(huà)時(shí)，要進(jìn)行不間斷錄音和放音，但音頻設備的輸入/輸出緩沖區的大小是有限的，必須不斷循環(huán)使用，因此采用qt/embedded的信號和槽機制來(lái)實(shí)現，系統采集完一次數據并發(fā)送出去后，給ipaudio類(lèi)自身發(fā)送一個(gè)canrecord（）信號，而采集函數本身是一個(gè)槽，接收到canplay（）信號后又開(kāi)始下一次采集。這樣循環(huán)不斷，代碼片斷如下：


public slots； void record（）{ int len； if（ioctl（audio_fd，sound_pcm_sync，0）＝＝－1） //同步 … //錯誤處理 if（len＝read（audio_fd，buf，1024））?。?024） //錄音 printf（"read wrong number of bytes ％dn"，len）； else{ （＊（adatasock－＞ds））＜＜buf； //發(fā)送采集的音頻數據給對話(huà)端 emit canrecord（）；//發(fā)送可錄音信號 } }
當系統接收到對話(huà)端發(fā)送過(guò)來(lái)的音頻數據時(shí)，音頻接收套接字adatasock發(fā)送一個(gè)readyread（）數據已準備好的信號給ipaudio類(lèi)的槽函數play（）來(lái)播放這段音頻。套接字adatasock初始化時(shí)的語(yǔ)句
connect（adatasock，signal（readyread（）），ipaudio，slot（play（）））；

即實(shí)現這個(gè)功能，播放時(shí)為了避免要播放的數據太多而導致設備被阻塞，還須先檢測音頻設備的輸出緩沖區是否有足夠的空間，以使系統能夠正常工作。代碼如下：


這樣，系統就可以實(shí)現無(wú)阻塞的音頻采集和播放，一個(gè)傳統的ip語(yǔ)音電話(huà)就實(shí)現了，系統退出時(shí)，用close（）函數關(guān)閉音頻設備即可。

3.3 視頻采集/播放模塊設計

視頻采集和播放模塊實(shí)現了通過(guò)攝像頭采集本端影像視頻傳輸給對話(huà)方并接收對方的視頻數據還原成影像顯示在本端屏幕上的功能，也是本ip電話(huà)系統的先進(jìn)之處，程序中用多的一些video4linux支持的專(zhuān)用視頻數據結構如下：

1）video_capability，包含攝像頭的基本信息，如設備名稱(chēng)、支持的最大最小分辨率、信號源信息等，分別對應著(zhù)結構體中成員變量name[32]、maxwidth、maxheight、minwidth、minheight、channels（信號源個(gè)數）、type等；

2）video_picture，包含設備采集圖像的各種屬性，如brightness（亮度）、hue（色調）、contrast（對比度）、whiteness（色度）、depth（深度）等；

3）video_mmap，用于內存映射；

4）video_mbuf，利用mmap進(jìn)行映射的幀信息，實(shí)際上是輸入到攝像頭存儲器緩沖中的幀信息，包括size（幀的大?。?、frames（最大支持的幀數）、offsets（每幀相對基址的偏移）；

5）video_window，包括設備采集窗口的各種參數。

視頻采集/播放模塊的基本工作流程如圖5所示。

這樣攝像頭設備所采集的內容就映射到了內存緩沖區pixbuf中，該映射內容區可讀可寫(xiě)并可與其他進(jìn)程共享。將系統設置為單幀采集模式，當1幀數據采集完畢時(shí)，通過(guò)vdatasock套接字將視頻數據傳送給對方，然后發(fā)一個(gè)cansample（）信號給自身再開(kāi)始下一幀數據的采集，如下：


在采集視頻數據的同時(shí)，還要顯示對方傳輸過(guò)來(lái)的視頻數據，當對方的數據被接收到時(shí)，系統利用vdatasock的readyread（）信號告訴ipvideo將其顯示出來(lái)。ipvideo使用qt/embedded的qimage和qpainter類(lèi)來(lái)實(shí)現圖像數據的顯示，先初始化，為了使圖像重畫(huà)時(shí)不閃爍，設置wrepaintnoerase重畫(huà)不擦除標志，如下：

p＝new qpainter（）； image＝new qimage（（uchar＊）buff，w，h，32，0，0，（qimage：：endian）0）； setwflags（getwflags（）|qt：：wrepaintnoerase）；

重載ipvideo的paintevent（）函數，加載buff中接收過(guò)來(lái)的視頻數據，并在屏幕上畫(huà)出來(lái)，代碼如下：

void paintevent（qpaintevent＊）{ image－＞loadfromdata（（uchar＊）buff，framesize）； p－＞begin（this）； p－＞drawimage（0，0，＊image）； p－＞end（）； }

在ipvideo中增加一個(gè)槽函數show（），專(zhuān)門(mén)接收vdatasock的readyread（）信號，一旦接收到了，就通過(guò)vdatasock的ds將視頻數據流導入buff緩沖區中，并調用updata（）函數，該函數將激活paint事件，調用paintevent（）函數進(jìn)行視頻的更新重畫(huà)。這樣，隨著(zhù)不停地接收到對方的圖像數據，就實(shí)現了遠端視頻的播放，雙方就能進(jìn)行語(yǔ)音和視頻同步的ip通話(huà)了。

4 小結

本系統主要是針對嵌入式手持設備，可與pc或同類(lèi)型的手持機進(jìn)行ip視頻電話(huà)通信，擴展了傳統ip電話(huà)的功能，彌補了沒(méi)有圖像的缺點(diǎn)，并且體積小、攜帶方便、全圖形界面，操作簡(jiǎn)單，采用無(wú)線(xiàn)上網(wǎng)，只要網(wǎng)絡(luò )支持，可以隨時(shí)隨地使用，另外還可以做終端監控之用，可以固定也可以移動(dòng)監控，廣泛地應用于工廠(chǎng)、銀行及小區等眾多場(chǎng)合，具有比較廣闊的市場(chǎng)和應用前景。