H.264壓縮算法詳解
加入技術(shù)交流群
原來(lái)國際電信標準化部門(mén)從1998年就H.26L的H.26S兩個(gè)分組，前者研制節目時(shí)間較長(cháng)的高壓縮編碼技術(shù)，后者則指短節目標準制訂部門(mén)。H.26S 的標準化技術(shù)的名稱(chēng)為H.263，聽(tīng)起來(lái)很耳生，但實(shí)質(zhì)上卻早在用了，還被罵得很激烈。因為，H.263先入為大，一直以MPEG-4大內涵的名字在用。 H.263的全稱(chēng)為MPEG-4 Visual或MPEG-4 Pall Ⅱ，即MPEG-4視頻簡(jiǎn)單層面的基礎編碼方式。2001年后，國際電信標準化部門(mén)ITU-T和MPEG的上級組織國際標準化組織ISO/國際電氣標準會(huì )議IEC成立了聯(lián)合視頻組JVT，在H.26L基礎進(jìn)行H.264的標準化。
2002年12月9日~13日，在日本香川縣淡路島舉行的MPEG聚會(huì )上確定了相關(guān)技術(shù)的規格。規格書(shū)定稿后，2003年3月17日，H.364的技術(shù)格式最終稿國際標準規格（FDIS）被確立。目前軟件和LSI芯片，服務(wù)及設備也都進(jìn)入了使用階段。格式書(shū)中，列出了比特流規定，解碼必要格式，和可供參考的編碼記載。
為了不引起誤解，ITU-T推薦使用H.264作為這一標準的正式名稱(chēng)。實(shí)際上，MPEG-4里還有MPEG-4 Audio和MPEG-4 System的不同規格。
MPEG-4挨罵是因為MPEG-4 Visual許可收費離譜引起的。別以為有了專(zhuān)利就可以隨意向人要錢(qián)了，專(zhuān)利的最終目的的是使全社會(huì )的智力資料更合理地使用，防止重復勞動(dòng)，并不是犒賞最先發(fā)明者。按唯美史觀(guān)，當社會(huì )技術(shù)發(fā)展到某一階段時(shí)，新技術(shù)必然會(huì )出現。不是你、就是他總會(huì )發(fā)明出來(lái)，只是細節、時(shí)間、成本上的微小差別。歷史上，這樣不約而同的發(fā)明很多，無(wú)線(xiàn)電的發(fā)明者是馬可尼還是波波夫，一直在西方和東方技術(shù)史界爭論。
而當專(zhuān)利技術(shù)成為國際標準的一部份后，問(wèn)題就更加復雜了。國標標準是強制的，向其中的專(zhuān)利付費是否有壟斷之嫌？標準中的技術(shù)專(zhuān)利請求，是否合理？如何區分正當的請求和不正當的請求？等等一系列的理論、法律和道德問(wèn)題都出來(lái)了。要尊重專(zhuān)利法，也要遵守反壟斷法。這兩年國際上圍繞MPEG-4收費問(wèn)題的大爭論就是由此而起。
在標準化進(jìn)程中，專(zhuān)利的爭端正在增加，任何黑白兩極的判斷都無(wú)法令人滿(mǎn)意。但奇怪的是標準中的專(zhuān)利爭端發(fā)展到要求判決的案例幾乎沒(méi)有，都是當事者幕后交易解決，這使得不明確的法理更陷入惡性循環(huán)之中。同時(shí)也助長(cháng)了用戶(hù)對盜版的寬容，一邊是搶我的剪徑強資，另一邊是偷你的小賊，怎么講道德？！
MPEG-4的收費問(wèn)題主要是從向傳輸環(huán)節收費引起的。MPEG-4對解碼器和編碼器的收費已經(jīng)比MPEG-2低了很多，這是各種壓縮技術(shù)競爭的結果。但MPEG-2不對傳輸MPEG-2壓縮圖像的服務(wù)環(huán)節收費，而MPEG-4則要對內容配送者收取每分鐘0.0333美分的許可費。錢(qián)數聽(tīng)起來(lái)不大，但倫理上卻有很大的差別。打個(gè)比方，你買(mǎi)了臺彩電，必要的專(zhuān)利費用已經(jīng)通過(guò)彩電廠(chǎng)轉交到專(zhuān)利技術(shù)持有者的手中。而當你打的把這臺彩電運回家的時(shí)候，出租車(chē)主也要向專(zhuān)利持有者交費！能不引起軒然大波嗎。
現在的專(zhuān)利收費結構已經(jīng)相當商業(yè)化。一種產(chǎn)品、一個(gè)系統或一套技術(shù)標準中，包含有許許多多公司的專(zhuān)利技術(shù)，使用企業(yè)很難與一個(gè)個(gè)技術(shù)的發(fā)明者直接交涉簽約，這樣就出現了一種專(zhuān)利管理公司的企業(yè)。它把某一產(chǎn)品的一個(gè)個(gè)技術(shù)從專(zhuān)利持有者手中買(mǎi)下來(lái)，約定好收益的分配方案，再由它人使用技術(shù)的企業(yè)中收取許可費。需要用這一產(chǎn)品技術(shù)的企業(yè)就只需與專(zhuān)利管理公司打交道，操作方便多了。但專(zhuān)利管理公司和著(zhù)作權保護企業(yè)一樣，實(shí)際上是一個(gè)中間商，兩頭賺錢(qián)，未必把社會(huì )效益放在最高地位。
現在的MPEG-4，也即MPEG-4 Visual是由美國MPEG LA公司進(jìn)行專(zhuān)利許可管理的，他同時(shí)也在管理MPEG-2的專(zhuān)利，目前還在爭取H.264的專(zhuān)利許可權。MPEG LA公司于2002年9月就開(kāi)始募集H.264的主要專(zhuān)利，想采取先入為主的手段取得管理權。由于大量企業(yè)對MPEG-4收費制度不滿(mǎn)，2003年6月， MPEG-4的支持團體M4IF（MPEG-4工業(yè)論壇），決定數據流標準格式的美國ISMA（國際數據流媒體協(xié)會(huì )）和多媒體通信有關(guān)業(yè)界團體IMTC （國際多媒體通信協(xié)會(huì )）發(fā)起召開(kāi)H.264的許可制度說(shuō)明會(huì )?？偣灿袑?zhuān)利持有者和使用者團隊45個(gè)，56人參加，對有關(guān)H.264許可問(wèn)題進(jìn)行早期意見(jiàn)交換，希望協(xié)調各方面的要求和利益。關(guān)于方面其它信息，我們稍后再細述，先看看H.264的特色吧。
H.264用大運算量來(lái)?yè)Q取高壓縮率、高畫(huà)質(zhì)
H.264受人追捧有三大原因：高性能、國際標準和公正的無(wú)差別許可制度。
首先是超高壓縮率，其壓縮率為MPEG-2的2倍以上，MPEG-4的1.5至2倍。這樣的高壓縮率是以編碼的大運算量來(lái)?yè)Q取的，H.264的編碼處理計算量有MPEG-2的十多倍。不過(guò)其解碼的運算量并沒(méi)有上升很多，故對用戶(hù)接收播放來(lái)說(shuō)沒(méi)有什么難度。
從另一角度，編碼的大運算量現在也不是什么大問(wèn)題。MPEG2是1994年推出的，當時(shí)微處理器的工作頻率才100MHz，主存儲器容量也不滿(mǎn)10MB。 MPEG-2那樣的壓縮運算適應了當時(shí)的技術(shù)水平。而現在CPU的工作頻率可上升到3GMz，DRAM用到256MB，提升了30倍上下，運算量也不怕。實(shí)驗表明在奔騰4處理器的3GHz電腦上，可用軟件實(shí)現D1（720×80）格式圖像的H.264實(shí)時(shí)編碼。
而且H.264才標準化，運算順序還有改善的空間。當作為國際標準確立后，還能結集起全世界的精英來(lái)優(yōu)化處理。這也反應出技術(shù)發(fā)展的必然性，唯物史觀(guān)。
高壓縮率使圖像的數據量減少，給存儲和傳輸帶來(lái)了方便。加上基本規格公開(kāi)的國際標準和公正的許可制度，所以，電視廣播、家電和通信三大行業(yè)都進(jìn)入到H.264的實(shí)際運用研發(fā)中心，見(jiàn)圖1。
H.264又一項減少運算量的方法是在很多地方引入層次化運算，把在矩陣數據塊變成小塊運算，使計算式變得更加簡(jiǎn)單，見(jiàn)圖5。
本文引用地址：http://dyxdggzs.com/article/201706/351445.htm在DCT中采用時(shí)，8×8像素塊層次化到2×2像素塊，變換就變得快捷。運動(dòng)補償中也可利用。檢出運動(dòng)矢量時(shí)，最初的模塊大，運動(dòng)矢量的檢出范圍大，搜索快捷。當檢出到有動(dòng)作的部分再調入小模塊細分析。H.264進(jìn)行運動(dòng)預測的模板多，一旦先進(jìn)全面檢索，需要的時(shí)間就很長(cháng)，運算量也大。用層次化處理，先進(jìn)行模板的收縮，接著(zhù)小范圍檢索，就能減少計算量。在幀內預測中利用層次化后，殘差計算的范圍就能變小，同樣有利于減少計算量。
H.264與MPEG-2和MPEG-4的不同還存在于糾錯編碼塊中，H.264的糾錯編碼為內容自適應可變長(cháng)度碼（CAVLC）和內容自適應二進(jìn)制算法編碼（CABAC），能提高糾錯能力。而MPEG-2和MPEG-4杰霍夫曼編碼。另外，還加入了MPEG-2和MPEG-4沒(méi)有環(huán)路濾波器，有降低噪聲的效果。H.264的整數變換以4×4像素塊為單位，已比原來(lái)的8×8像素塊的塊噪聲少，再次降低，畫(huà)質(zhì)得到了進(jìn)一步提高。
從應用角度看，H.264有三個(gè)層面，分為主要用于電視會(huì )議等通信的基線(xiàn)層面，面向高畫(huà)質(zhì)用途和錄像的主層面以及面向內容配送的擴展層面。各層面的清晰度和編碼速度取值不同。
基線(xiàn)層面的主要技術(shù)為圖像只含有I畫(huà)面，P畫(huà)面，系統內有環(huán)路濾波，1/4幀間預測，4:2:0 YUV格式輸入，基于VLC的糾錯編碼，彈性宏塊指令等。主要層面則在基線(xiàn)層面基礎上加入了CABAC運算編碼技術(shù)和基于雙向預測的B畫(huà)面，濾波（接口）等技術(shù)，但不含彈性宏塊指令。擴展層面則在基線(xiàn)層面里加入B畫(huà)面和濾波編碼等。
H.264分有4.1種不同樣式的圖像水平。水平1的編碼速度較小，最大只能達64kbps，像素格式為QCIF（176×144），30幀/秒和Sub QCIF（128×96），60幀/秒。適合手機、PDA等屏幕播放視頻用。水平2的編碼速度可達2Mbps，圖像的像素格式為CIF（352× 288），30幀/秒。水平3、水平4分別對應SDTV、HDTV圖像格式，編碼速度為10Mbps，20Mbps。另外，還有能支持更高清晰度的水平 5，編碼速度高達135Mbps。故總稱(chēng)為4.1水平。在各水平更細的分類(lèi)中，最大編碼速度也還有不同規定。
最后，把H.264與MPEG-2/MPEG-4主要的不同技術(shù)比較與下表1。
針對H.264的特點(diǎn)，編碼軟件和編碼LSI開(kāi)發(fā)的廠(chǎng)家都把編碼/解碼運算量的減少作為方向來(lái)研究，所以，實(shí)用前景大好。大多數半導體廠(chǎng)認為在H.264中使用削減運算量方法后，能獲得相當于MPEG-2編碼LSI的2倍左右的處理能力。
由于技術(shù)的日益成熟，半導體廠(chǎng)商已在進(jìn)行H.264的編碼/解碼LSI的開(kāi)發(fā)。特別是HDD錄像機和DVD錄像機等設備中，采用H.264的實(shí)例已很多，更引起了半導體廠(chǎng)商的關(guān)心。加之，H.264采用的動(dòng)畫(huà)編碼方式和音頻編碼方式具有多樣化特性，今后幾乎將會(huì )是全部廠(chǎng)商的主要規格之一。
以目前芯片將H.264實(shí)用化的研究也在進(jìn)行之中。用德州儀器（TI）公司制造的DSP[TMS320C64××]對以H.264預先編碼的圖像已證實(shí)能進(jìn)行實(shí)時(shí)解碼。TI公司正在開(kāi)發(fā)的C6×系列DSP LSI，將在視頻編碼電路和存儲控制電路中，加入對應H.264和MWV等的編碼/解碼功能。
TI公司推出的可以對MPEG-4編碼/解碼的用于便攜機開(kāi)發(fā)的TMS320DM270，只要用上新的CPU提高處理能力，就可用于H.264的編碼/解碼。
已經(jīng)有MWA9的編碼/解碼DSP樣品出廠(chǎng)的美國模擬設備公司也在向H.264前進(jìn)。
圖6是美國InStat/MDR公司對H.264功能LSI產(chǎn)量的預測。預測還只基于H.264的許可制度與MPEG-2一樣的前提下進(jìn)行的。
H.264的許可制度有望較友善
H.264替代MPEG-4的呼聲很高，除了其高性能外，作為國際標準和公正的無(wú)差別許可制度也至關(guān)重要。
MPEG-4的許可體系引起了幾大行業(yè)，特別是信息配送行業(yè)的強烈反對，使得新國際標準的許可收費不得不向更為友善的方向發(fā)展。表2是幾種視頻壓縮技術(shù)的許可收費價(jià)格。
表中可見(jiàn)，MPEG LA公司提出的MPEG-4配送過(guò)程也要付費是空前絕后的。視頻壓縮產(chǎn)品只對終端收費合乎常情，因而招至了很大反抗，直到今日仍在遭人反對。而且對采用 MPEG-4的產(chǎn)品和服務(wù)還分成6種標準：用戶(hù)記錄視頻，互聯(lián)網(wǎng)視頻，車(chē)載移動(dòng)視頻，特有用戶(hù)視頻，存儲視頻和企業(yè)視頻。連簡(jiǎn)單的移動(dòng)電視服務(wù)，如從現場(chǎng)到電視中心通訊時(shí)，若使用MPEG-4視頻的話(huà)，也需支付移動(dòng)視頻的許可費。
因此，連原定在地面數字電視的編碼方式中采用MPEG-4的日本ARIB，也因許可費問(wèn)題而開(kāi)始研討是否改用H.264。擁有各種內容服務(wù)業(yè)者的移動(dòng)內容論壇MCF也于2003年5月23日，致涵MPEG LA公司反對內容收費，要求重新考慮許可條件。MPEG LA也已松口表示希望以能相互滿(mǎn)意的形式交涉。
隨著(zhù)掌握壓縮技術(shù)的企業(yè)增加和用戶(hù)巨增，H.264的許可管理收費受到二個(gè)方面的壓力。一、用戶(hù)要求低價(jià)格，最好免費使用；二、持有壓縮技術(shù)的企業(yè)增加，供應空間大，不得不低價(jià)出售。目前具有高壓縮率特征的活動(dòng)圖像編碼技術(shù)的企業(yè)不少，如，美國數據流公司的XVD，能在一片CD-R碟片上放入2小時(shí)圖像，并能實(shí)時(shí)編碼。美國On2技術(shù)公司的活動(dòng)圖像編碼技術(shù)VP5和新版本VP6，國內推出的EVD就采用這種編碼技術(shù)。美國AOL（America Online）公司也有新壓縮技術(shù)在進(jìn)行許可操作。微軟的WMV 9也在向家電產(chǎn)品擴展，如美國工藝家庭娛樂(lè )公司使用WMV 9壓縮，將HDTV畫(huà)質(zhì)的“終結者2：審判日”放入DVD-ROM內。
為此，H.264的許可制度設計有兩點(diǎn)引人之處：第一，部分格式將無(wú)償使用，H.264的基線(xiàn)層面全員免費，無(wú)償使用；其二，許可體系要比MPEG-4單純，公正無(wú)差別對待用戶(hù)和專(zhuān)利持有者。以及其它能促進(jìn)普及的優(yōu)惠政策，如早期低價(jià)格許可等。
基線(xiàn)層面的免費是以ITL-T主要活動(dòng)的企業(yè)為中心推動(dòng)的?，F得到美國蘋(píng)果公司和美國Cisco系統公司、中國聯(lián)想公司、芬蘭諾基亞、美國On2技術(shù)公司、德國西門(mén)子、美國德州儀器公司等的支持，并有美國政府為其撐腰。
基線(xiàn)層面免費的最大目的是加速H.264的普及。當基線(xiàn)層面普及以后，收費的主層面和擴展層面就能帶動(dòng)起來(lái)。盡管主要層面和擴展層面要收費，但從趨勢看，許可費
應較為便宜，因為各種編碼技術(shù)的許可費都有不斷下降的趨勢，目前很熱門(mén)的美國微笑WMV 9的許可費就比MPEG-2和MPEG-4要低，見(jiàn)表2。而且微軟的契約期為10年，比MPEG-2和MPEG-4還長(cháng)。
從MPEG-2向MPEG-4的發(fā)展看，編碼器（電路加軟件）和解碼（電路加軟件）的費用就降到1/10，WMV9更低?？梢灶A計H.264的許可費用會(huì )比WMV 9還低。
前文提到的45個(gè)團體的聯(lián)合會(huì )傳出說(shuō)法，如果H.264采用MPEG-4 Visual一樣的許可體系，H.264就可能不被采用，態(tài)度強硬。標準中的專(zhuān)利收費收益已遠不止收回投入的開(kāi)發(fā)成本，而是在不斷地獲取暴利，故降低收費在所必然。
當然，只要沒(méi)有定局，變化依然存在。專(zhuān)利持有者的想法也各有不同，采用無(wú)差別對待原則是否行得通。專(zhuān)利實(shí)施充滿(mǎn)著(zhù)大量利益誘惑，追名逐利者大有人在。目前已經(jīng)有兩家公司申稱(chēng)對H.264具有許可管理權。在專(zhuān)利應用前就開(kāi)始搶專(zhuān)利管理權的現象是前所未有的，兩家公司還都有淵源。一家是實(shí)際持有MPEG-2和 MPEG-4 Visual許可管理的美國MPEG LA公司。另一家是進(jìn)行MPEG-2 AAC和MPEG-4 Audio許可管理的美國杜比實(shí)驗室的子公司美國Vialicensing公司。最終有哪一家公司管理，還是分割管理，現在都不清楚。
編輯：呂勇
評論