視頻多媒體手機之系統架構規劃

　　目前電子產(chǎn)業(yè)的設計動(dòng)能，無(wú)疑將很大的一部分集中在移動(dòng)終端，尤其是手機的開(kāi)發(fā)上頭。就通信環(huán)境來(lái)說(shuō)，移動(dòng)通信系統持續朝向更高傳輸量及IP化發(fā)展，在應用上則帶動(dòng)了VoIP、email、簡(jiǎn)訊、Java Game甚至是VoD、Mobile TV等網(wǎng)路、廣播服務(wù)的出現。這些應用型態(tài)，對于移動(dòng)終端的設計都是新的挑戰，本文將著(zhù)重于探討多媒體手機的開(kāi)發(fā)及系統架構規劃。

　　為了因應多媒體的表現，今日的手機必須在軟硬件架構上進(jìn)行必要的調整：首先是顯示器，除了螢幕的尺寸愈來(lái)愈大外，為提升顯示品質(zhì)，在解析度上從qQVGA、QCIF，一路往QVGA升級；面板技術(shù)上則從CSTN、A-TFT、LTPS，逐漸升級到OLED；此外，MVA、IPS等寬視角技術(shù)也愈來(lái)愈受重視。

　　在多媒體的應用功能上，包括了視頻（錄影、視頻節目等）、音頻（語(yǔ)音、音樂(lè )、影音效果等）和圖形（照片、游戲等），分別需要用到專(zhuān)門(mén)的處理技術(shù)，以及鏡頭、感測器、處理器、記憶體和顯示器等硬件系統配備。以照相功能為例，手機相機除了訴求更高解析度、對動(dòng)態(tài)攝影要求具有SDTV視頻的捕捉能力外，光學(xué)伸縮鏡頭（Optical zoom）、手振校正功能及閃光燈都將是高階手機的附加功能。

　　手機多媒體處理架構

　　隨著(zhù)多媒體任務(wù)愈來(lái)愈繁重，單單依賴(lài)基頻已難以承受所有處理工作，因此應用處理器（application processor）的角色就因應而生。將應用處理功能從基頻中分離出來(lái)，一方面可以分擔彼此的工作，另一方面則可以視市場(chǎng)的需求而各自調整、升級個(gè)別的功能，例如基頻可以專(zhuān)注于因應通信規格的變化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系統業(yè)者也能依自己的需求來(lái)搭配這兩個(gè)單元。

　　應用處理器在功能上的演進(jìn)壓力也很大，例如對照相功能得準備再升級到三百萬(wàn)，甚至是五百萬(wàn)畫(huà)素，視頻上也得進(jìn)一步支援30ftp的VGA畫(huà)質(zhì)；在圖形處理方面，它得嵌入2D/3D繪圖引擎，以滿(mǎn)足游戲的臨場(chǎng)感；至于最新的應用需求則是支援要DVB-H、T-DMB或Media FLO等移動(dòng)電視規格。

　　由于業(yè)者的技術(shù)背景不同，目前市場(chǎng)上應用處理器的架構作法也不盡相同，以處理器技術(shù)見(jiàn)長(cháng)的廠(chǎng)商提出採用高效能的單一ARM核心來(lái)處理所有工作的架構；同時(shí)有更多人採用ARM加DSP的雙核心架構，也就是將控制與訊號處理工作分流，由ARM的RISC核心主要進(jìn)行控制工作，大量的訊號加、解碼工作則交給DSP來(lái)執行。此外，有些專(zhuān)屬性應用的處理工作非常消耗運算資源，這時(shí)，應用處理平臺中會(huì )考慮加入專(zhuān)屬的加速器來(lái)提升處理效能。

　　由于手機中的應用功能不斷增加，因此，在應用處理平臺中加入包括視頻、音頻、2D/3D繪圖、PAN/WAN、安全和GPS定位等專(zhuān)屬功能加速器的分散式處理架構，已成為多媒體手機的重要發(fā)展方向，請參考(圖一)。此架構讓系統能以更低的時(shí)脈頻率達成復雜的多媒體工作，并能降低主處理器的負荷。以Nomadik平臺為例，即是在A(yíng)RM926EJ-S的主處理器核心外，搭配智能性視頻加速器（Smart video accelerator）和智能音頻加速器（Smart audio accelerator）、多媒體信號處理器（MMDSP）、加速功能硬件（Acceleration hardware）等多顆可程式智能加速器來(lái)分擔在音頻和視頻上的前、后處理任務(wù)。

　　圖一　分散式處理模式（以Nomadik為例）

　　資料來(lái)源：ST

　　在任務(wù)執行中，這些智能加速器在產(chǎn)生圖像、錄影、播放節目和雙向影音通信時(shí)，能獨立且同時(shí)的運作，進(jìn)而讓系統能在低耗電的條件下達成需求的應用功能表現，所提供處理動(dòng)力和記憶體頻寬，足以驅動(dòng)1024x1024 pixels的螢幕；此外，這些復雜的加速器能獨立地與區域DMA和記憶體資源一起工作，讓主處理器能在同一時(shí)間中更專(zhuān)注于處理應用功能，或進(jìn)入省電狀態(tài)來(lái)延長(cháng)電池壽命。

　　視頻處理單元

　　在視頻壓縮技術(shù)方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相較之下，MPEG-4問(wèn)世的時(shí)間較久，市場(chǎng)上採用的情況也較高，但H.264由于是最新的標準，能提供當前最佳的視頻壓縮效能，并且已獲得MPEG/lS0和ITU兩大國際標準組織的支持，再加上它的適用范圍極廣，所以自2003年標準推出后，即成了HDTV、HD-DVD、手機及視頻串流等業(yè)者非常重視的規格。

　　不過(guò)，不同的視頻壓縮格式，由于規格復雜度不同，需要的運算資源也不同；此外，編碼（encode）又比解碼（decode）耗用更大的運算資源。以MPEG-4為例，以軟件來(lái)做解碼或許還可行，但若要以軟件來(lái)進(jìn)行編碼就會(huì )耗掉太多的系統運算資源。類(lèi)似地，不同的顯示器視頻品質(zhì)也意味著(zhù)不同的運算需求，例如若要以單一處理器來(lái)提供30 fps的VGA畫(huà)質(zhì)視頻，可能得用到GHz等級的處理器才跑得動(dòng)，不過(guò)，這在手機的環(huán)境下顯然是行不通的，因為此方案的耗電太驚人，散熱也難以處理。

　　在此情況下，專(zhuān)屬的視頻加速器就是最可行的方案。在Nomadik應用平臺中的視頻加速器，能針對MPEG-4的編解碼提供30 fps的CIF畫(huà)質(zhì)、24 fps的VGA畫(huà)質(zhì)和384Kbit/s的傳輸率，也具備圖像前／后處理的能力，如(圖二)。在視頻的編、解碼上，除了運算處理外，記憶體的容量與架構也是設計上的關(guān)鍵。舉例來(lái)說(shuō)，以CIF的顯示器加上抓取緩沖（grab buffer）就需要1200 Kbyte以上才夠。若能開(kāi)發(fā)一套智能性的動(dòng)作估計演算法（motion estimation algorithm），就能大幅降低記憶體大小和耗電性。

　　Nomadik以48 Kbyte的on-chip SRAM來(lái)支援VGA視頻編碼，它用在視頻頻框的抓取和搜尋視窗的儲存，外部的記憶體則被用于其余視頻功能的處理。此一作法降低了記憶處理的延遟，讓效能可以大幅提升，同時(shí)也為改善了I/O和匯流排的設計，能進(jìn)一步降低耗電；此外，在成本上也因晶片尺寸的縮小而降低。

　　此外，高品質(zhì)、低復雜性演算法對于H.264的編解碼也有很大的幫助，以ST來(lái)說(shuō)，就已提出運動(dòng)估算與速率控制演算法，以及用于H.264解碼的錯誤檢測與隱藏演算法，能讓解碼器承擔并隱藏數據封包損失，在無(wú)線(xiàn)封包網(wǎng)路上實(shí)現IP網(wǎng)路的最佳效能。

　　圖二　智能視頻加速器

　　資料來(lái)源：ST

　　音頻處理單元

　　手機的基本功能，即在處理語(yǔ)音的通話(huà)音頻。但在多媒體手機中，音頻的處理任務(wù)愈來(lái)愈復雜，除了語(yǔ)音外，還要求具備多音調振鈴、MP3音樂(lè )、FM廣播及游戲音效，而且不能只是單聲道的效果，現在還要求能提供Hi-Fi立體聲的臨場(chǎng)感體驗。

　　從單聲道到立體聲，對手機音頻系統的設計是一種改革性的挑戰。一般而言，Hi-Fi是指16-bit立體聲品質(zhì)、以44.1kHz取樣的音頻，也就是CD音樂(lè )的規格；電話(huà)語(yǔ)音則是8-bit和8kHz的單聲道（mono）、低階品質(zhì)音頻。過(guò)去這兩個(gè)世界是井水不犯河水的，但今日在手機上得一併考慮設計才行了。

　　在音頻編解碼（CODEC）上，也有琳瑯滿(mǎn)的規格需要支援：針對音效的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；針對人類(lèi)語(yǔ)音有LPC、CELP與ACELP等；其他還有MPEG-2、MPEG-4、H.264、VC-1等視聽(tīng)節目的編碼格式。手機多媒體格式的市場(chǎng)趨勢請參考(圖三)。

　　圖三　手機多媒體格式的應用市場(chǎng)趨勢

　　在Nomadik中具有一個(gè)音頻加速器，它是一個(gè)完全以C語(yǔ)言加以程式化的多媒體DSP（MMDSP）核心，此核心採用採用超長(cháng)指令集（very-long-instruction-word, VLIW）架構，它的每個(gè)指令執行為一個(gè)循環(huán)，而且完全是由C語(yǔ)言撰寫(xiě)的程式，適用于與媒體內容相關(guān)的處理，以及協(xié)定、負載平衡和多工架構等用途。此一音頻加速器能夠對包括AAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數字音頻格式進(jìn)行加碼或解碼，也支援SRS、WOW等3D音頻環(huán)繞效果，如(圖四)。

　　圖四　智能音頻加速器

　　資料來(lái)源：ST

　　硬件加速器

　　為了要進(jìn)一步降低耗電，有必要將硬件線(xiàn)路運算器（hardwired operator）和MMDSP一起使用，這樣能保證即使在最糟的狀況下還有足夠的效能表現。低頻率的硬件負責處理動(dòng)作估計（motion estimation）、編碼轉換（transform coding）、變數長(cháng)度解碼（variable length decoding）、圖像過(guò)濾（image filtering）和色彩轉換（color conversion）等需要大量MIPS計算的工作。

　　軟件架構剖析

　　吸引人、負擔得起和互動(dòng)性的多媒體通信、資訊和娛樂(lè )將新的移動(dòng)服務(wù)中處處可見(jiàn)。但對軟件廠(chǎng)商和設備制造商來(lái)說(shuō)，如果每次都要針對不同的無(wú)線(xiàn)平臺重新撰寫(xiě)同樣的應用功能，自然是讓人很氣餒的經(jīng)驗。Java這類(lèi)run-time技術(shù)能支援下載游戲和應用，但需要有足夠程式資源。有趣的多媒體應用需要愈來(lái)愈多的資源和耗電，這對于體積小的手機設備是很大的挑戰。

　　要克服這些問(wèn)題的一個(gè)務(wù)實(shí)方式，是採用開(kāi)放多媒體介面的一般性架構，而且是基于抽象硬件介面（hardware abstraction）的作法。在這個(gè)架構同時(shí)提供上層和下層的觀(guān)點(diǎn)，上層的觀(guān)點(diǎn)提供應用程式撰寫(xiě)者一套針對特定作業(yè)系統的統一軟體介面，并對底層的處理器設計加以抽象化。

　　在底層的部分包括多媒體加速器和影音編解碼器，UART、USB及藍芽等通信介面，以及LCD控制器、影像感測器或照相機等一般性應用週邊的標準硬件介面；在中間的部分為涵蓋核心、設備驅動(dòng)程式和檔案系統的作業(yè)系統功能，以及多媒體架構、語(yǔ)音及網(wǎng)路的通信架構、Java和安全性架構等等；上層的部分則是各種應用功能，例如語(yǔ)音、游戲、短信、瀏覽、PIM等等功能。這三層之間則透過(guò)底層API及高層API來(lái)進(jìn)行溝通，請參考(圖五)。

　　圖五　軟件架構示意圖

　　資料來(lái)源：ST

　　結論

　　目前移動(dòng)終端設備的應用性不斷地延伸，其中最主要的趨勢自然是從單純語(yǔ)音走向消費性?shī)蕵?lè )的多媒體應用功能。單以視頻應用來(lái)說(shuō)，就包括攝影（camcorder）、媒體播放（media player）、移動(dòng)電視、視頻電話(huà)（video telephony）等等，要提供這些應用功能，今日的手機除了需要提升鏡頭、感測器、處理器、記憶體和顯示器等硬件系統配備外，開(kāi)發(fā)者還得面臨不少設計挑戰。

　　先進(jìn)的多媒體應用平臺要能支援多重的視頻及音頻格式，以提供豐富的影音應用功能；要支援更高的解析度和傳輸、處理速度，以提升用戶(hù)的視聽(tīng)感受經(jīng)驗；在應用處理負荷增加下，仍能保持或延長(cháng)電池的使用壽命。要克服這些挑戰，在設計上有必要採取更先進(jìn)的軟、硬技術(shù)與系統架構。

　　本文中針對多媒體手機的系統需求提出了分散式處理的加速器架構，它能有效地降低系統的負荷，并滿(mǎn)足各種應用的處理效能。在新興的多媒體應用及服務(wù)上，除了考慮處理效能及展現品質(zhì)外，往往還得解決內容的安全性的問(wèn)題，因此，手機系統也需針對行動(dòng)商務(wù)（M-commerce）、身分證認（authentication）和數字版權管理（DRM）等應用做出安全的安全保障架構，這和終端本身記憶體的作法以及通信系統的認證機制息息相關(guān)，例如可用專(zhuān)屬的安全模組記憶體作法來(lái)儲存保密性的資料。

　　最后，在通信的世界中需要打造一個(gè)開(kāi)放性的環(huán)境，才能讓這些內容、應用及服務(wù)遍及最多的用戶(hù)。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等國際組織在推動(dòng)音、視頻及串流格式的一致性作法，以確保在不同的終端設備和電信系統中能順暢的傳遞視頻內容。這些非營(yíng)利組織之間也有密切的合作關(guān)系，在開(kāi)放性的精神下，讓多媒體的服務(wù)能更快速的進(jìn)入每個(gè)人的行動(dòng)生活當中。

　?。ㄗ髡邽橐夥ò雽w亞太區通信及移動(dòng)多媒體事業(yè)部資深技術(shù)行銷(xiāo)工程師，聯(lián)絡(luò )方式：vincent.chiang@st.com）