基于DSP的數碼相機中的MPEG-4 壓縮

雖然數碼相機 (DSC) 投入市場(chǎng)僅幾年時(shí)間，但已經(jīng)使消費類(lèi)電子成像業(yè)發(fā)生了翻天覆地的變化。目前，全球售出的相機中大約有三分之一是數碼相機，而且其份額還在穩步上升。

隨著(zhù)多兆象素DSC生成分辨率越來(lái)越高的圖像而開(kāi)始挑戰傳統的膠卷像機，消費類(lèi)DSC也正提供智能化操作模式，幫助用戶(hù)在各種條件下都能拍攝出更好的照片。視頻模式也已經(jīng)成為消費類(lèi) DSC的標準功能，使用戶(hù)能夠快速拍攝多個(gè)照片，以便選擇更好的快照，同時(shí)也使他們能夠保存重大事件的簡(jiǎn)短剪輯。此外，DSC 也開(kāi)始與手機集成在一起，實(shí)現靜止圖片與剪輯隨時(shí)隨地的快速傳輸。

　　隨著(zhù)瞬息萬(wàn)變的 DSC 市場(chǎng)不斷分化，開(kāi)發(fā)商必須不斷充分利用技術(shù)創(chuàng )新的優(yōu)勢來(lái)細分其產(chǎn)品。當今其中一項創(chuàng )新就是在基于高性能數字信號處理器 (DSP|0">DSP) 的消費類(lèi) DSC 中引入MPEG-4 視頻壓縮技術(shù)。MPEG-4標準使 DSC 能夠有效提供視頻及其他操作模式，增加所存儲視頻剪輯的數量，并支持視頻圖像強大可靠的傳輸。DSP可以提供低價(jià)位相機產(chǎn)品中 MPEG-4 編碼以及解碼所需要的計算性能，尤其那些具備支持快速圖像處理架構的DSP更是如此?？删幊绦允归_(kāi)發(fā)商在整個(gè)DSC 產(chǎn)品線(xiàn)中使用相同的 DSP 平臺，從而通過(guò)軟件優(yōu)化不同產(chǎn)品的成像管道 (image pipe)。

　　新的壓縮標準

　　DSC傳統依賴(lài)于 JPEG 壓縮標準，其設計用于存儲靜止圖像，并且已通過(guò)互聯(lián)網(wǎng)而廣為流行。在壓縮中，JPEG 采用離散余弦變換 (DCT) 與量化技術(shù)有效地從包含 8x8 象素陣列的最小編碼單元 (MCU) 的數據描述中消除大部分空間冗余。然后此算法采用熵或可變長(cháng)度編碼 (VLC) 技術(shù)進(jìn)一步減少存儲與傳輸的圖像數據。圖像解壓的步驟則與此相反。根據圖像內容，盡管壓縮比隨圖像的不同而不同，但是JPEG算法一般情況下可以將象素數據壓縮一個(gè)數量級而不丟失視覺(jué)完整性。

　　用于動(dòng)畫(huà)與視頻的各種 MPEG 標準采用與 JPEG 相同的幀內技術(shù)入手來(lái)壓縮基本的靜止圖像或I幀，然后采用附加的幀間技術(shù)以消除隨后幀中的暫時(shí)冗余。幀間技術(shù)事實(shí)上涉及將每個(gè)連續幀的 16x16 象素宏塊壓縮到上一個(gè)幀的宏塊，然后采用運動(dòng)估計與補償技術(shù)來(lái)描述宏塊的幀到幀移動(dòng)。這些預測幀或P幀只需要描述其從上一幀的改變。然后以應用所決定的間隔定期對 I幀進(jìn)行編碼。

　　圖1說(shuō)明了一般 MPEG 視頻壓縮中所涉及的步驟。圖像頂部從輸入到輸出的幀內壓縮步驟（DCT、量化與VLC）足以生成 I幀。為了創(chuàng )建 P幀，剛編碼的幀必須在本地幀緩沖器中被解碼并存儲，以便實(shí)現過(guò)去幀的逐塊壓縮到未來(lái)幀（即運動(dòng)估計），從而實(shí)現幀間壓縮。視頻解碼涉及圖下部的步驟（逆量子化、反向 DCT、運動(dòng)補償）。除了圖中所示之外，MPEG 標準還具有采用獨立流程的音頻壓縮－解壓算法。

圖 1：MPEG 視頻壓縮流程圖

MPEG-4：多媒體標準

　　MPEG 標準在不斷發(fā)展，以適應新興的視頻應用。最初的 MPEG-1 標準開(kāi)發(fā)用于大容量存儲與系統檢索，例如：交互式 CD-ROM 以及 VCD。此后，在 MPEG-2中對該標準進(jìn)行了修改，以支持更高的分辨率、更廣泛的格式以及與 HDTV 相關(guān)的數字編碼。由于在 DVD 中的應用，MPEG-2 更受青睞。在視頻數據庫的要求所驅動(dòng)下，MPEG-7 標準規定了用于信息搜索的內容表述。

　　MPEG-4 開(kāi)發(fā)用于交互式多媒體應用，其中包括那些通過(guò)無(wú)線(xiàn)連接提供的多媒體應用。它與基本 H.263 視頻壓縮標準共享算法。與早期的 MPEG 標準相比，MPEG-4 為更高密度的圖像提供了更好的壓縮，并為更強大可靠的傳輸提供了更高的容錯彈性 (error resilience)。另外，MPEG-4 支持在幀中引入對象類(lèi)型，從而可以獨立規定、壓縮、傳輸和重新組合不同的圖像及圖形單元。但是，該標準的對象支持功能仍有待開(kāi)發(fā)切實(shí)可行的實(shí)施方案。到那時(shí)，包括 DSC 在內的大部分 MPEG-4 應用可以繼續基于通常情況下與圖像的完整矩形幀對應的單個(gè)對象。

　　高壓縮效率

　　特定剪輯的壓縮比隨主題的不同而千差萬(wàn)別，不過(guò)一般情況下 MPEG 壓縮技術(shù)可以將 JPEG 幀的后續形式－運動(dòng) JPEG (M-JPEG) 的壓縮比在相同分辨率下提高一個(gè)數量級。進(jìn)一步的壓縮源自幀間技術(shù)的采用。視頻幀一般大約為 10萬(wàn)象素（352 x 288 象素，CIF 分辨率）或大約 2.5 萬(wàn)象素（176 x 144象素，QCIF 分辨率），而不是一般情況下與 JPEG 相關(guān)的 2～5 兆象素。盡管分辨率的這種降低在高質(zhì)量照片中是不能接受的，但是對于許多消費類(lèi) DSC 產(chǎn)品來(lái)說(shuō)卻足夠了，尤其是考慮到它實(shí)現了寫(xiě)真視頻的采集。

　　MPEG-4 算法充分利用壓縮技術(shù)中的精化功能，將早先的 MPEG 比率降低了大約20％。高級 MPEG-4 壓縮可以將每秒15幀 (fps) 的 QCIF 視頻圖像從原始視頻數據的 4.5Mbps 壓縮為不到 64kbps，同時(shí)還可以保持適當的瀏覽質(zhì)量。在DSC 中，MPEG-4 壓縮使相機能夠在內存中存儲比 M-JEPG 大幾倍的視頻圖像。

　　更佳的容錯彈性

　　MPEG-4 集成了多種提高容錯彈性的新技術(shù)，容錯彈性是很有用的特性，因為人們正越來(lái)越多地傳輸利用 DSC 采集的照片與剪輯。隨著(zhù) DSC 手機的日益流行，強大可靠的傳輸成為了必不可少的要求。MPEG-4 的容錯彈性技術(shù)包括：

　　更多的再同步標記，其可將所傳輸的數據分成小視頻包，從而使接收方能夠在最小化數據丟失情況下恢復各種傳輸錯誤；

　　報頭擴展代碼，其指示每個(gè)數據包的報頭，以防止由于包含重要報頭信息的視頻幀中第一個(gè)視頻包的破壞而導致潛在的報頭信息丟失；

　　將視頻數據分成運動(dòng)與紋理（空間）數據，通過(guò)提高該部分數據被接收到的幾率而促進(jìn)從錯誤恢復；

　　可逆 VLC，允許接收方從再同步標記后向與前向進(jìn)行解碼，以便在發(fā)生傳輸錯誤后恢復盡可能多的圖像；

　　用于空間及時(shí)間錯誤的差錯隱藏技術(shù)（在 MPEG-4 中規定了幾種技術(shù)，這些技術(shù)是對該算法的補充，而并非其組成部分）。

　　對 DSP 性能與靈活性的需求

　　由于幀間運動(dòng)估計及補償中涉及其他步驟，因此 MPEG-4 壓縮與解壓算法比JPEG 需要強得多的處理能力。所以，DSC中的圖像處理引擎必須能夠達到更高的性能水平。盡管 ASIC 能夠實(shí)現此項任務(wù)，但是它不易于結合到不同 DSC 產(chǎn)品的成像管道中；另一方面，可編程 DSP 不但能夠提供 MPEG-4 算法所需的性能，而且還可以通過(guò)軟件優(yōu)化不同系統。另外，還可以對相同的 DSP 進(jìn)行編程，使其執行JPEG算法，以便在更高分辨率的DSC中推廣使用。因此，整個(gè) DSC 產(chǎn)品線(xiàn)可以基于單個(gè) DSP 平臺，從而在節約大量開(kāi)發(fā)時(shí)間與成本的同時(shí)還能促進(jìn)產(chǎn)品的細分。

　　帶成像架構的 DSP 示例

　　德州儀器 (TI) 推出的 TMS320DM270 數字媒體處理器就是一種為 DSC 等成像應用而專(zhuān)門(mén)設計的高性能 DSP。DM270 是基于多處理器架構之上的，其采用一個(gè)ARM7 32 位 RISC 微控制器來(lái)處理非成像功能，并用作整個(gè)系統的主控制器，同時(shí)采用可編程的 C54x? DSP 核心處理音頻編碼與解碼。另外，DM270 還集成了專(zhuān)門(mén)設計用于處理大部分高計算要求成像任務(wù)的可編程協(xié)處理器。其中一個(gè)協(xié)處理器－SIMD 圖像處理引擎 (iMX) 執行 DCT、反向DCT以及眾多其他處理運算中的運動(dòng)估計與補償。其他協(xié)處理器執行可變長(cháng)度編碼/解碼、量化與逆量子化。

圖 2 展示了 DM270 的主要功能塊與流程。除了主要的處理器之外，該器件還通過(guò)各種通用 I/O 引腳集成了高速緩沖存儲器、圖像塊緩沖器、以及用于外部存儲器、CCD、LCD 或 TV 輸出及其他通信接口的控制器。專(zhuān)用的圖像預處理硬件可以消除主處理器的某些任務(wù)負擔，如：白平衡、自動(dòng)曝光以及自動(dòng)調焦。

　　在外部只需要 SDRAM 來(lái)完善 DSC 的圖像處理引擎。由于 MPEG 必須保持附加幀以進(jìn)行運動(dòng)估計與補償，因而在 QCIF (176x144) 分辨率下，編碼需要大約 110千字節 SDRAM。憑借其高度集成與專(zhuān)用架構，DM270 能夠在CIF (352x288) 分辨率下處理超過(guò) 30fps 的 MPEG-4 編碼，同時(shí)能夠在 HVGA (640x240) 分辨率、超過(guò)30fps 的解碼期間處理超過(guò)50％ 的象素。該器件還支持多媒體中所采用的其他主要視頻、音頻與語(yǔ)音標準，而且可以與設計用作手機引擎的 DSP 一起結合使用。

　　DSC 手機與其他新興應用

　　在瞬息萬(wàn)變的視頻成像消費類(lèi)電子產(chǎn)品市場(chǎng)中，怎么高估編程靈活性的重要性都不為過(guò)。DSC 正迅速發(fā)展并融入新的應用。其中之一是帶有集成相機的手機，提供靜止圖像與視頻剪輯的采集與傳輸功能。該系統現已投放市場(chǎng)。MPEG-4 數據可以嵌入多媒體信息服務(wù) (MMS) 協(xié)議棧中，從而可以采用無(wú)線(xiàn) IP 網(wǎng)絡(luò )信息的行業(yè)標準在無(wú)線(xiàn)網(wǎng)中輕松傳輸視頻數據包。

　　開(kāi)發(fā)商可能也希望具備 DSP 所帶來(lái)的靈活性，以便設計那些在無(wú)線(xiàn)產(chǎn)品中也具備的、其他類(lèi)型的相機系統，例如：支持基于 H.324 的視頻會(huì )議的系統。該視頻會(huì )議無(wú)線(xiàn)電話(huà)采用 H.263 或 MPEG-4 來(lái)對視頻進(jìn)行編碼與解碼。另外，可能還需要將訊息發(fā)送功能與可視會(huì )議融為一體的、對會(huì )話(huà)初始化協(xié)議 (SIP) 的支持。MPEG-4 的未來(lái)發(fā)展，如：對象功能，可能會(huì )需要對已經(jīng)投入應用的單元以及正在開(kāi)發(fā)中的單元進(jìn)行重新編程。其中一項發(fā)展便是新出現的 MPEG-4 AVC（高級視頻編碼）標準（又稱(chēng)為 H.264 標準）的更高壓縮密度?？删幊痰?DSP 實(shí)現了對所有這些標準及其他標準的支持，從而可以有助于成像系統開(kāi)發(fā)商細分其產(chǎn)品，并激發(fā)新的市場(chǎng)需求。

　　在成像質(zhì)量方面，DSC仍然需要一定時(shí)間才能與最高質(zhì)量的傳統膠卷相機抗衡。但是，在低端市場(chǎng)中，DSC 卻可以提供傳統相機所無(wú)法與之匹敵的視頻與其他功能。目前，DSC 開(kāi)發(fā)商正從更高的壓縮比與更高的容錯彈性探索 MPEG-4，以幫助其提供消費者所期望的更多功能。而可編程 DSP 可以提供在低成本 DSC 上實(shí)現MPEG-4算法所需要的性能，在高度分化市場(chǎng)中，它們?yōu)殚_(kāi)發(fā)商提供了可滿(mǎn)足各種需求而需要的靈活性?；?DSP 的 MPEG-4 壓縮還為在未來(lái)把DSC與無(wú)線(xiàn)設備集成并支持其他新型應用打開(kāi)了機遇之門(mén)。利用 MPEG-4 與 DSP，低成本消費類(lèi) DSC 將會(huì )繼續迎來(lái)輝煌的未來(lái)。讓我們放眼展望吧！