從視訊編碼標準來(lái)看移動(dòng)多媒體應用設計趨勢

       從錄音帶、CD，到MP3、MPEG-4、H.264，消費者從單純的音樂(lè )欣賞，到移動(dòng)視訊的要求，不僅層面愈來(lái)愈廣，也愈來(lái)愈注重視訊本身的質(zhì)量，而過(guò)去主流的單一功能視聽(tīng)娛樂(lè )裝置。

       如今也已經(jīng)被多媒體移動(dòng)產(chǎn)品所取代，手機上也內建愈來(lái)愈多、愈來(lái)愈強大的移動(dòng)影音處理能力，當初誰(shuí)也不會(huì )想到，多媒體處理能力在移動(dòng)應用方面所占的重要性會(huì )如此之大。

        移動(dòng)影音的質(zhì)量方面開(kāi)始逐漸被重視的現在，研發(fā)人員若仍采用過(guò)去的硬件設計架構，肯定逐漸有力不從心的感覺(jué)，為了遷就分辨率，勢必要犧牲流暢度；或者為了流暢度，畫(huà)質(zhì)就被降級！那么，沒(méi)有1個(gè)兩全其美的方法嗎？其實(shí)有的，但是這樣的產(chǎn)品在開(kāi)發(fā)上，或制造成本考慮上，又有可能超出預期規劃，因此在面臨微利化的數字產(chǎn)品設計與銷(xiāo)售方面，想要面面俱到，其實(shí)是相當困難的一件事。

        視訊編譯碼應用成為了移動(dòng)多媒體設備的主要功能之后，相關(guān)設計方案也逐漸被提出，在廠(chǎng)商爭鳴的情況下，設計者可以輕易得到符合功耗、性能、功能等不同要求的產(chǎn)品架構，但是產(chǎn)品最終仍要以消費者的需求為依歸，因此慎選架構幾乎就是決定1款產(chǎn)品的成敗關(guān)鍵。



△圖說(shuō)：移動(dòng)影音的需求已經(jīng)逐漸被重視。（www.iriver.com）

       視訊編碼技術(shù)的重要地位

       雖然說(shuō)多媒體處理包含了聲音、影像以及視訊幾個(gè)部分，在嵌入式移動(dòng)應用方面，音效以及影像編譯碼幾乎都可以完全靠應用處理器的通用運算來(lái)解決，然而視訊編譯碼卻無(wú)法單純以軟件方式進(jìn)行，會(huì )造成此種結果有下列幾個(gè)原因。

       首先，音效的編譯碼標準變動(dòng)非常小，且復雜度并不會(huì )隨著(zhù)時(shí)間而增加，舉例來(lái)說(shuō)，MP3規格是在1995年所發(fā)明，時(shí)至今日，雖然有其它訴求更高音質(zhì)或更高壓縮比的規格出現，但無(wú)一能取代MP3，即便是不同音效壓縮規格，其編碼復雜度也相差不大，一般來(lái)說(shuō)，音效的流量要比編碼壓縮規格本身對音效質(zhì)量的影響來(lái)得大，但是流量本身也不能無(wú)限上綱，畢竟聲音的分辨率只要高到一定的程度，人的耳朵就無(wú)法分辨非壓縮原音與壓縮后音效的差別。

       而視訊方面就完全不是這么一回事了，人的眼睛相較起耳朵而言，是非常敏感且精細的器官，不論是對顏色，對分辨率或者是流暢度，都具有非常敏銳的辨別能力，視訊的壓縮要考慮的要素比之于音效要復雜上許多，以常見(jiàn)的NTSC視訊規范為例：NTSC(National Television Standard Committee)是眾所周知的522線(xiàn)制，其中480行被用于畫(huà)面表現上。如果現在將NTSC模擬訊號轉成數字化數據，4:3的橫縱比率意味著(zhù)每行有640個(gè)像素。如果以每張圖像640*480，那么一張24位的全彩NTSC位圖的大小為640 x 480 x 3Bytes = 921600Bytes，約0.9MB；另外，NTSC電視系統每秒顯示29.97張畫(huà)面，換句話(huà)說(shuō)，當電視訊號以數字化方式呈現時(shí)，每秒大約會(huì )有29.97 x 0.9MB = 26.973MB的數據流量。

       如果想要在計算機上播放該視訊，計算機將需以每秒約27MB的速度將數據由儲存裝置讀取出來(lái)之后再顯示到屏幕上；另外每小時(shí)27MB x 3600 = 97200MB =97.2GB的視訊容量?jì)Υ嫘枨笫鞘煮@人的。如此龐大的數據儲存及傳輸量直到近幾年硬盤(pán)技術(shù)才追趕上這樣的需求。至于現在市面上已上市的數字化影音儲存裝置(CD、DAT、MD、VCD/DVD…等)，若非傳輸速度不夠，便是儲存容量不足。由此可見(jiàn)，數字化的數據處理雖有其好處，然而對于多媒體數據來(lái)說(shuō)，未經(jīng)壓縮處理的原始數據(Raw data)，光是數據存儲便是極大的問(wèn)題，而在架構微縮，頻寬有限的移動(dòng)裝置上，亦無(wú)法肩負起如此龐大的流量需求，因此必須借助各種有效的實(shí)時(shí)壓縮/解壓縮手段，借以節省儲存空間，并且大幅降低視訊串流所造成的頻寬沖擊。

       視訊編碼標準的演進(jìn)

       為了解決數字視訊儲存與傳輸的問(wèn)題，1992年制訂出了MPEG-1壓縮標準，隨后則是MPEG-2，而到MPEG4出現后，真正移動(dòng)影音的未來(lái)才逐漸明朗化。MPEG-4與之前的視訊編碼標準有著(zhù)相當大的不同，傳統的MPEG-1、MPEG-2等視訊壓縮技術(shù)中，壓縮方式是以1張張個(gè)別的影像畫(huà)面為主體來(lái)進(jìn)行壓縮。因此，整張影像畫(huà)面上的所有圖形與文字都采用相同的壓縮方式，產(chǎn)生出來(lái)的數據量也就比較大。MPEG-4則采用新一代的壓縮理念，將影像畫(huà)面上的文字、背景及圖形視為不同對象，并制定以對象為基礎的方式來(lái)壓縮影像畫(huà)面，借以達到最有效率的壓縮方式。 

        MPEG-1與MPEG-2的壓縮算法只是將視訊間的多余數據予以刪除，然而MPEG-4則提出不一樣的壓縮技術(shù)，此技術(shù)稱(chēng)為以?xún)热轂榛A之視訊壓縮。MPEG-4的壓縮技術(shù)可依照需求，將視訊內容分割成數個(gè)視訊對象平面，再將這些視訊對象平面分別編碼、儲存和傳送，之后再于譯碼端依不同的應用來(lái)重組、刪減或是替換所需的視訊對象平面。

       在此一概念中，我們將動(dòng)態(tài)影像序列中的每1個(gè)場(chǎng)景，看成是由不同的視訊對象平面所組成。而同一對象的連續視訊對象平面，則稱(chēng)為視訊對象。視訊對象可以是動(dòng)態(tài)影像序列中的人物或景物，如電視新聞中的主播，也可以是電視畫(huà)面中的1輛汽車(chē)。對于輸入的動(dòng)態(tài)影像序列，經(jīng)過(guò)分析后可將其分割成數個(gè)視訊對象，而每個(gè)視訊對象再對其中所組成的視訊對象平面進(jìn)行編碼。

       視訊對象平面的編碼包括對運動(dòng)(采用移動(dòng)預測與補償)及紋理(采用數字離弦轉換編碼)的編碼，其基本原理則與MPEG-1、MPEG-2極為相似。 

      但因視訊對象平面可能是各種不同的形狀，因此，MPEG-4要求編碼時(shí)，必須處理視訊對象平面的形狀和其透明度等信息。這跟只能處理矩形影像序列的視訊編碼標準(MPEG-1與MPEG-2)則形成了鮮明的對照。 

       在MPEG-4中，矩形區塊可被認為是視訊對象平面的1個(gè)特例，這時(shí)編碼系統不用處理視訊對象平面形狀信息，而以類(lèi)似MPEG-1、MPEG-2的傳統編碼方法，來(lái)對矩形區塊的視訊對象平面進(jìn)行編碼，因此，MPEG-4能與現有標準(MPEG-1和MPEG-2)兼容。

       MPEG-4標準衍生出許多標準與非標準的影音壓縮格式，目前最為熱門(mén)的H.264即為其中一例。H.264是ITU-T以H.26x系列為名稱(chēng)命名的標準之一，同時(shí)AVC是ISO/IEC MPEG一方的稱(chēng)呼。因此這個(gè)視訊壓縮標準，通常被稱(chēng)之為H.264/AVC (或者 AVC/H.264、H.264/MPEG-4 AVC及MPEG-4/H.264 AVC)，明確的說(shuō)明該標準出自?xún)煞矫娴拈_(kāi)發(fā)者。

       該標準最早來(lái)自于ITU-T的稱(chēng)之為H.26L的項目的開(kāi)發(fā)，H.26L這個(gè)名稱(chēng)雖然不太常見(jiàn)，但是一直被使用著(zhù)。有時(shí)候該標準也被稱(chēng)之為"JVT 編譯碼器"，這是由于該標準是由JVT組織并開(kāi)發(fā)的(作為2個(gè)機構合作開(kāi)發(fā)同1個(gè)標準的事情并非空前，之前的視訊編碼標準MPEG-2也是由MPEG和ITU-T兩方合作開(kāi)發(fā)的--因此MPEG-2在ITU-T的命名規范中被稱(chēng)之為H.262)。

       采用H.264是移動(dòng)影音裝置的必走方向

       H.264/AVC項目最初的目標是希望新的編譯碼器能夠在比相對以前的視訊標準(比如MPEG-2或者H.263)低很多的流量(一半或者更少)下提供合理的視訊質(zhì)量；同時(shí)，盡可能減少復雜編碼工具的使用，因此使得硬件難以實(shí)現。另外1個(gè)目標是可適應性，即該編譯碼器能夠在1個(gè)很廣的范圍內使用(比如說(shuō)，既包含高碼率也包含低碼率，以及不同的視訊分辨率)，并且能在各種網(wǎng)絡(luò )和系統上(比如電視、DVD儲存、RTP/IP封包網(wǎng)絡(luò )、ITU-T多媒體電話(huà)系統)工作。以目前來(lái)看，H.264除了在高流量的應用占有主要的地位以外，低流量的應用更是發(fā)光發(fā)熱。

       Youtube的在線(xiàn)視訊幾乎全數轉成H.264格式，而目前可播放視訊的移動(dòng)裝置，也幾乎都以H.264為標準格式，畢竟H.264規范完整，目前有許多IC設計廠(chǎng)商都已經(jīng)針對H.264設計出幾乎可完全硬件化的解壓縮流程方案，相較起過(guò)去的軟件解壓縮方式，硬件化解壓縮除了有助于降低處理器負載，同時(shí)也能有效降低系統功耗。

       至于其它在移動(dòng)影音裝置上常見(jiàn)的視訊標準來(lái)看，就缺乏了完全以硬件進(jìn)行譯碼的方案，比如說(shuō)網(wǎng)絡(luò )上流行的Divx、Xvid、Real等，都完全沒(méi)有硬件解壓縮方案出現，很難在不影響系統本身功耗或工作負載的前提下，達到高質(zhì)量視訊的播放，因此不論從功耗方面、播放質(zhì)量方面，采用以上影音壓縮格式的產(chǎn)品其實(shí)都不甚出色。

        微軟的VC1雖然在高畫(huà)質(zhì)影音也占有一席之地，但是在低流量應用方面少之又少，如此也更確定了H.264確定了在高畫(huà)質(zhì)影音與移動(dòng)影音的主流地位。

       移動(dòng)影音裝置的設計方向

        先看看我們最常用的手機?，F在的手機基本上采用1個(gè)ARM處理器加1個(gè)DSP的架構，由ARM處理器完成基頻處理工作，由DSP對數字化的射頻訊號進(jìn)行處理。也有一些處理器采用了2個(gè)ARM核心，如德州儀器的雙核心OMAP850處理器由2個(gè)不同的CPU組成，1個(gè)ARM926負責PDA功能，另1個(gè)ARM7負責GSM電話(huà)功能。有些手機的處理器采用了2個(gè)處理器加DSP的架構，2個(gè)處理器分別用做基頻處理器和應用處理器，以便提供更好的影音編解碼處理能力。 



△圖說(shuō)：TI的OMAP850應用處理器，多媒體性能不錯，但是通用計算性能相當貧弱，采用此處理器的移動(dòng)產(chǎn)品一般應用程序響應速度相當遲緩。（www.TI.com）

       為了更好地支持多媒體和娛樂(lè )功能，同時(shí)盡可能地降低功耗，有些廠(chǎng)商采用可配置處理器技術(shù)，開(kāi)發(fā)了音視訊處理芯片，如ATI公司的多媒體處理芯片上，就采用了2個(gè)Tensilica公司的Xtensa核心，該芯片用于摩托羅拉超薄的V3手機上。 

        再看看iPhone上發(fā)生的情況。iPhone的熱銷(xiāo)說(shuō)明了這樣1個(gè)趨勢，將來(lái)的手機將成為手機終端、娛樂(lè )終端和網(wǎng)絡(luò )終端的綜合體。在正常的通話(huà)功能之外，手機還要具有娛樂(lè )和多媒體功能，支持MP3、MP4、H.264、VC1等多媒體標準，支持移動(dòng)電視、數字廣播、在線(xiàn)交易等各種無(wú)線(xiàn)業(yè)務(wù)，支持Wi-Fi、WiMAX、藍牙等無(wú)線(xiàn)通信標準，還要支持GPS這樣的功能，不但可以做導航之用，在意外發(fā)生時(shí)還能夠提供緊急的位置服務(wù)。

        要保證這些功能的實(shí)現，首先是要有足夠的處理能力?，F在的iPhone使用了5個(gè)ARM處理器，是把各個(gè)任務(wù)分解到多個(gè)處理器上。這樣做的結果是功能豐富了，但成本也提高了。如果能把多個(gè)處理器的功能整合到1個(gè)處理器中，無(wú)疑將顯著(zhù)降低成本，也有助于降低功耗。將來(lái)不論是利用SoC方式將所有核心整合為單一芯片，或者是使用內建更多、更強大處理單元的處理器，都是可參考的開(kāi)發(fā)方向。 

△圖說(shuō)：iphone所內建的處理器數目可說(shuō)是目前手機之冠，其將多媒體能力列為主要賣(mài)點(diǎn)，也獲得了極大的成功。（www.apple.com）

       至于在移動(dòng)電視或者是諸如PMP等移動(dòng)影音產(chǎn)品，通用運算的要求并不高，因此可以將眼光放在更節省功耗、以及具備更強大視訊譯碼能力的架構設計上。以下提出幾種常見(jiàn)的硬件設計體系，可供應用在具備多媒體視訊處理能力的各種移動(dòng)裝置上：

       ■以SoC方式實(shí)現，此亦可稱(chēng)ASIC或ASSP，ASIC/ASSP內會(huì )用上嵌入式的處理器(或控制器)核心，甚至是嵌入式的數字信號處理器(Digital Signal Processor；DSP)，或硬件線(xiàn)路式的影音編譯碼核心。數字訊號處理器具備了相當強大的向量數學(xué)運算處理能力，剛好可以切合視訊編譯碼的計算需求，而如果將部分通用的視訊編譯碼流程化為硬件線(xiàn)路，其它部分則以通用運算處理器或DSP來(lái)計算，其實(shí)也是相當均衡的方式。

       ■使用多媒體處理器來(lái)實(shí)現，例如NXP的TriMedia或者是Sigma Designs的Media Processor等，此類(lèi)型的處理器多半具備VLIW架構，可加速多媒體視訊的運算。而NVIDIA的GoForce及ATI的Imageon也有類(lèi)似的功效，不過(guò)這2款處理器都著(zhù)重于視訊處理，不具備通用運算能力。

       ■使用雙處理器(或雙核)設計，除了使用1個(gè)通用(General)的32-bit微處理器(或微控制器)外，會(huì )再額外搭配1顆數字信號處理器，影音編解碼運算的部分就由DSP負責，微處理器/微控制器(uP/uC)則負責一般性的控制工作及一般性的應用程序執行，TI的OMAP方案即是此中的代表。而ARM的MPCore也可視為解決方案之一，但是MPCore僅具備通用處理能力，要具備更有效或更高畫(huà)質(zhì)的多媒體編譯碼能力，建議整合第3方，如ARC的多媒體串流處理單元，或者是在移動(dòng)裝置上內建諸如NVIDIA GoForce等獨立處理芯片。

       ■一樣使用1個(gè)通用的32-bit微處理器、微控制器，但另1個(gè)搭配芯片則是1個(gè)已將音視訊編譯碼運算加以硬件線(xiàn)路化的編譯碼芯片，此一般稱(chēng)為CODEC芯片，如果只考慮播放功能，則只需要譯碼運算硬件線(xiàn)路化的芯片，此稱(chēng)為譯碼芯片(Decoder)；如果在播放外也希望能拍照、錄像，那么就必須用上「編譯碼芯片，CODEC」。這樣的方式可達到相當高的功耗控制能力，但是缺乏可程序化能力，也不具備新增支持未來(lái)新視訊標準的能力。

       ■只使用單純的通用嵌入式處理器、微控制器芯片，所有的多媒體編譯碼運算一律以軟件方式實(shí)現，這種方式彈性最高，但是程序撰寫(xiě)與最佳化更為復雜，而且通用處理器在功耗表現上，往往不如一般特定用途的加速器(如DSP或VLIW處理單元)。因此要使用這類(lèi)處理器，首先要考慮到處理器本身是否有針對特定多媒體應用設計的指令集或處理單元，否則將難以負擔未來(lái)逐漸走向高質(zhì)量的移動(dòng)影音解碼需求。