基于小波變換與DSP的實(shí)時(shí)音頻視頻處理系統

目前，以遠程監控、視頻會(huì )議、可視電話(huà)及移動(dòng)多媒體通信系統為代表的低比特率通信系統在實(shí)際中得到了重要應用。面對龐大的音/視頻數據量，作為語(yǔ)音及圖像處理的壓縮技術(shù)便在多媒體通信中顯得極為重要。隨著(zhù)多媒體通信技術(shù)和超大規模集成電路（vlsi）技術(shù)的飛速發(fā)展，這一技術(shù)將會(huì )在眾多領(lǐng)域得到更為廣泛的應用。

1 音/視頻實(shí)時(shí)處理系統

低碼率視頻通信的主要技術(shù)問(wèn)題是音/視頻壓縮編碼技術(shù)，即用來(lái)實(shí)現在滿(mǎn)足足夠質(zhì)量和硬件成本的條件下降低所需的碼率。小波變換充分利用人眼的視覺(jué)特性，克服了重構圖像會(huì )出現的塊效應、蚊子效應、模糊等現象。由于小波變換技術(shù)能充分地利用人眼的視覺(jué)特性，因此因而用小波變換視頻編碼將會(huì )獲得比現在標準得多的壓縮效果。本文介紹一種基于adv611，ct8021芯片同時(shí)結合ti公司的tms320c6201芯片實(shí)現音/視頻實(shí)時(shí)處理系統。在該實(shí)時(shí)系統中，dsp芯片作為控制核心、一方面要管理adv611，ct8021，存儲器和通信接口，另一方面要對adv611的圖像壓縮效果進(jìn)行調解，對數據速率實(shí)時(shí)控制。系統實(shí)現方案原理圖如圖1所示。

1.1 系統硬件結構

系統主要功能是實(shí)現遠程場(chǎng)景音視頻的采集、數字化、音/視頻的壓縮和解壓、攝像系統云臺方位以及攝像頭的控制、自動(dòng)開(kāi)機和關(guān)機等功能。其中音視頻數據的打包、解包、攝像系統云臺方位以及攝像鏡頭的控制等功能dsp芯片tms320c6201來(lái)完成。遠程場(chǎng)景及音頻壓縮信息通過(guò)入網(wǎng)設備在internet上實(shí)現遠程實(shí)時(shí)傳輸。如圖2中，原始制式pal（720×288，50幀/s）的視頻信號經(jīng)過(guò)圖像采集端的視頻a/d轉換成ccir656（8位27mhz）的數據流，再通過(guò)adv611進(jìn)行小波壓縮編碼。同時(shí)，原始的音頻信號也經(jīng)過(guò)音頻采集端的a/d轉換為pcm信號，再通過(guò)ct8021完成g.723.1壓縮編碼。經(jīng)過(guò)壓縮的音/視頻數據都送入tms320c6201中，并由tms320c6201參照mpeg－2協(xié)議完成音/視頻數據的打包；經(jīng)過(guò)打包的數據由tms320c6201送出，這里使用異步通信器件tl16c550b連接tms320c6201和入網(wǎng)設備，這樣做可以簡(jiǎn)化dsp的軟件實(shí)現提高系統的可靠性和可擴展性。最后打包的音/視頻數據由入網(wǎng)設備發(fā)送到internet上，接收端功能框圖如圖3所示。從遠端接收到壓縮數據后，經(jīng)過(guò)tl16c550b送到dsp中，先在存儲器中緩存，然后根據mpeg－2協(xié)議進(jìn)行解包，分解成獨立的音/視頻數據；然后依據adv611和ct8021的數據申請，將壓縮視頻數據發(fā)送給adv611解壓，將壓縮音頻數據發(fā)送給ct88021解壓。adv611恢復出的圖像數據仍以ccir656的標志格式發(fā)送給視頻d/a轉換為視頻模擬信號，最終由顯示器回放出來(lái)，ct8021恢復出的語(yǔ)音數據仍以pcm標準格式發(fā)送給音頻d/a轉換為音頻模擬信號，由揚聲器回放出來(lái)。

1.1.1 音頻處理模塊

該模塊的核心芯片ct8021是采用美國dsp group公司生產(chǎn)的全雙工的語(yǔ)音壓縮解壓縮芯片。他可為基于h.320協(xié)議的多媒體系統。該芯片實(shí)現了itu－tg，723.1所規定的5.3kb/s和6.3kb/s兩種比特率語(yǔ)音。這兩種比特率是h.263建議所規定的國際標準語(yǔ)音速率，適用于線(xiàn)路帶寬較小的多媒體通信。該芯片處理速度快，可實(shí)現語(yǔ)音的實(shí)時(shí)處理，其內部結構如圖4所示。

1.1.2 視頻處理模塊

在該設計中，用小波變換進(jìn)行圖像壓縮是采用硬件實(shí)現的，使用了ad公司生產(chǎn)的adv611單片、多功能、全數字的cmos超大規模集成電路。小波壓縮核采用雙正交（7，9）小波變換。其內部結構如圖5所示。他支持對ccir－656國際數字視頻標準進(jìn)行高畫(huà)質(zhì)的無(wú)損或有損視頻壓縮和解壓縮并支持實(shí)施隔行掃描的視頻數據。編碼時(shí)，數字視頻從數字視頻接口輸入，經(jīng)幀抽取和小波變換，送入量化器進(jìn)行量化。量化后的數據送入熵編碼器，進(jìn)行游程編碼和霍夫曼編碼，產(chǎn)生最后的壓縮數據流，送入集成于片內的512×32位大小的fifo緩存。當片內的fifo的數據量達到主機的預設值時(shí)，adv611發(fā)出中斷，通知主機取走數據。解碼過(guò)程與之相反，壓縮數據由主機送入fifo，解碼后產(chǎn)生ccir－656格式的數據視頻數據，從數字視頻接口輸出。

adv611與其前期產(chǎn)品adv601，adv601lc相比，他不僅有更寬的溫度范圍（－25～＋85℃），而且采用硬件減幀技術(shù)，可獲得更高的壓縮比（最大可達7 500：1）并且增加一種稱(chēng)為特性盒控制的功能。該功能允許一幀中某一矩形區域相對于其他區域有較低的壓縮比或完全不進(jìn)行壓縮。對這個(gè)主芯片的控制采用ti公司的高速定點(diǎn)dsp芯片tms320c6201。他的內部工作頻率為200mhz，cpu有8個(gè)并行的功能單元，每個(gè)時(shí)鐘周期內可以并行執行8條指令，所以用c語(yǔ)言編程時(shí)也能完全滿(mǎn)足對adv611控制速度的要求。

視頻解碼兼模/數轉換芯片采用philips公司的視頻芯片saa7111，他可接收復合電視信號及s端子信號輸入，輸出支持yuv422/411，ccir656及rgb565等視頻格式，這里使用yuv422；視頻圖像恢復采用averlagic公司的視頻芯片al250，他支持yuv422與rgb565隔行輸入視頻格式，輸出則為計算機顯示器crt接收的rgb（vga）逐行視頻格式，可方便地利用計算機觀(guān)察視頻。這2個(gè)芯片都含有控制寄存器，可通過(guò)i2c總線(xiàn)控制。

將adv611接收來(lái)自saa7111的數字視頻信號進(jìn)行壓縮，dsp將通過(guò)訪(fǎng)問(wèn)adv611獲得壓縮數據；將adv611設置為解壓縮模式時(shí)，dsp將壓縮數據發(fā)給adv611進(jìn)行解壓縮處理，而saa7111僅為adv611提供時(shí)鐘信號。

此外，為提高系統的集成度和靈活性。系統使用了一片altera公司的cpld－epm7128，他將i2c電路、dsp啟動(dòng)電路、地址譯碼電路、對時(shí)鐘信號vclk的二分頻電路、讀寫(xiě)信號產(chǎn)生電路及編碼解碼切換電路等做在內部。電源芯片為ti公司的tps73hd301，他接收5v電壓，輸出3.3v和2.5v電壓，并提供系統復位脈沖。

1.1.3 i2c總線(xiàn)特殊設計

dsp的擴展能力不強沒(méi)有多余的i/o口。無(wú)法實(shí)現類(lèi)似單片機的i/o口集電極開(kāi)路允許總線(xiàn)路“線(xiàn)與”。這時(shí)可用三態(tài)門(mén)的控制單元（使用d觸發(fā)器），在需要釋放的總線(xiàn)時(shí)關(guān)閉三態(tài)門(mén)即可。

1.1.4 音視頻的復用

本系統復用器的設計是在mpeg－2音/視頻國際標準的第一部分iso/iec13818－1系統層語(yǔ)法規范的基礎上，采用tms320c6201信號處理器來(lái)實(shí)現。其中為實(shí)現一套節目音頻/視頻的解碼同步，在碼流中需要插入各種時(shí)間標記，系統控制等信息。最后送到網(wǎng)絡(luò )適配器得到與傳輸信道相匹配的標準輸出碼流后，送往信道，復用器還提供整個(gè)編碼系統的系統時(shí)鐘。

2. 系統軟件設計

dsp在主程序中計算采集端adv611圖像壓縮編碼的控制參數。adv611通過(guò)控制寄存器提供給用戶(hù)3種控制圖像效果和數據流量手段。首先是設置量化系數，即通過(guò)改變小波分解后各個(gè)不同頻帶數據的量化權重達到數據壓縮的目的，其次是減幀，adv611可以從50幀/s減到2幀/s。最后是特性盒控制，adv611能夠在722×288的一幀圖像中再設置一個(gè)顯示區，并將該區之外的圖像衰減，從而利用這種減小有效畫(huà)幅尺度的方法壓縮數據。這個(gè)顯示區域大小的設備是通過(guò)調節adv611內部品質(zhì)框數據實(shí)現的。主程序中dsp將依據用戶(hù)調節命令，計算修改adv611中的控制寄存器參數。

本系統dsp控制程序的設計關(guān)鍵是如何高效地協(xié)調完成各類(lèi)控制任務(wù)，避免由于任務(wù)進(jìn)程安排不當而引起的數據傳輸意外中斷，以壓縮端為例，如圖6所示，dsp程序將bsp數據發(fā)送和數據接收控制以及adv611，ct8021的服務(wù)請求作為中斷處理，以提高這些任務(wù)的響應速度。為了避免通信串口的數據丟失，程序允許bsp發(fā)送中斷和接收終端在adv611和ct8021的服務(wù)請求中斷發(fā)生并立即響應。在程序的主循環(huán)部分中，dsp通過(guò)一系列的狀態(tài)判斷完成發(fā)送緩沖區數據寫(xiě)入、接收緩沖區數據讀取、圖像壓縮編碼參數計算等任務(wù)。

3 結語(yǔ)

本系統選用了先進(jìn)的小波變換芯片adv611，ct8021和dsp tms320c6201芯片實(shí)現實(shí)時(shí)音頻視頻處理系統。有效地控制保證了音頻視頻的可靠傳輸。通過(guò)測試本系統dsp還有很多空閑時(shí)間，而且清晰的軟件結果很容易添加進(jìn)新的功能算法。從而進(jìn)一步豐富該系統的功能。