基于內容的信息存取與MPEG-7

一、什么是MPEG-7

現在，我們面臨的將是一個(gè)分布的計算環(huán)境，視聽(tīng)信息在分布環(huán)境中創(chuàng )建、交換、檢索和重用。因此，需要開(kāi)發(fā)一種視聽(tīng)信息的“表示(Representation)形式”，它超越基于波形或基于樣本、基于壓縮(如MPEG-1和MPEG-2)甚至是基于對象(如MPEG-4)的表示，這就需要“表示形式”允許某種程度的對信息含義的注釋?zhuān)瑫r(shí)設備或計算機代碼可以傳遞和存取這些注釋。

1996年10月，MPEG開(kāi)始了一項新的工作，以提供對以上問(wèn)題的解決方案。這個(gè)MPEG家族的新成員被稱(chēng)為“多媒體內容描述接口”(Multimedia Content Description Interface)，簡(jiǎn)稱(chēng)為MPEG-7。其目標就是產(chǎn)生一種描述多媒體內容數據的標準，滿(mǎn)足實(shí)時(shí)、非實(shí)時(shí)以及推-拉應用的需求。MPEG并不對應用標準化，但可利用應用來(lái)理解需求并評價(jià)技術(shù)，它不針對特定的應用領(lǐng)域，而是支持盡可能廣泛的應用領(lǐng)域。

MPEG-7將擴展現有標識內容的專(zhuān)用方案及有限的能力，包含更多的多媒體數據類(lèi)型。換句話(huà)說(shuō)，它將規范一組“描述子”，用于描述各種多媒體信息，也將對定義其他描述子以及結構(稱(chēng)為“描述模式”)的方法進(jìn)行標準化。這些“描述”(包括描述子和描述模式)與其內容關(guān)聯(lián)，允許快速有效地搜索用戶(hù)感興趣的資料。 MPEG-7將標準化一種語(yǔ)言來(lái)說(shuō)明描述模式，即“描述定義語(yǔ)言”。帶有MPEG-7數據的 AV資料可以包含靜止圖像、圖形、3D模型、音頻、語(yǔ)音、視頻，以及這些元素如何在多媒體表現中組合的信息。這些通用數據類(lèi)型的特例可以包含面部表情和個(gè)人化特性。

MPEG-7的功能與其他MPEG標準互為補充。MPEG-1、 MPEG-2和MPEG-4是內容本身的表示，而MPEG-7是有關(guān)內容的信息，是比特的比特。

MPEG-3曾經(jīng)存在，但由于其HDTV目標能夠用MPEG-2 工具實(shí)現，因此，該工作終止。按順序推算，下一個(gè)標準應該是MPEG-5，但是MPEG 決定不遵循序列的邏輯順序，而是選擇了數字7。MPEG-5和MPEG-6目前還沒(méi)有定義。 MPEG-7計劃在2001年9月正式成為國際標準。

二、 MPEG-7中的主要概念

為了更好地了解MPEG-7，我們需要了解MPEG-7中定義的一些概念：

數據(Data) 是用MPEG-7描述的視聽(tīng)資料，不考慮它們的存儲、編碼、顯示、傳輸、媒介或技術(shù)。該定義非常廣泛，包含圖形、靜止圖像、視頻、影片、音樂(lè )、語(yǔ)音、聲音、文本和其他相關(guān)的AV媒體。

特征(Feature) 指數據的特性。特征本身不能比較，而要用有意義的特征表示(描述子)和它的實(shí)例(描述值)。如圖像的顏色、語(yǔ)音的聲調、音頻的旋律等。

描述子(Descriptor，D) 是特征的表示。它定義特征表示的句法和語(yǔ)義，可以賦予描述值。一個(gè)特征可能有多個(gè)描述子，如顏色特征可能的描述子有：顏色直方圖、頻率分量的平均值、運動(dòng)的場(chǎng)描述、標題文本等。

描述值(Descriptor Value) 是描述子的實(shí)例。描述值與描述模式結合，形成描述。

描述模式(Description Scheme，DS) 說(shuō)明其成員之間的關(guān)系結構和語(yǔ)義。成員可以是描述子和描述模式。DS和D的區別是：D僅僅包含基本的數據類(lèi)型，不引用其他D或DS。如對于影片，時(shí)間結構化為場(chǎng)景和鏡頭，在場(chǎng)景級包括一些文本描述子，在鏡頭級包含顏色、運動(dòng)和一些音頻描述子。

描述(Description) 一個(gè)描述由一個(gè)描述模式(結構)和一組描述值組成。

編碼的描述(Coded Description) 是對已完成編碼的描述，滿(mǎn)足諸如壓縮效率、差錯恢復和隨機存取的相關(guān)要求。

描述定義語(yǔ)言(Description Definition Language，DDL) 是一種允許產(chǎn)生新的描述模式和描述子的語(yǔ)言，允許擴展和修改現有的描述機制。

為了更好地理解這些術(shù)語(yǔ)，請參看圖1。圖中解釋了 MPEG-7在實(shí)際系統中的位置。圓角框表示處理工具，矩形框表示靜態(tài)元素，陰影部分包含MPEG-7標準的規范元素：DDL提供建立描述模式的機制，然后將描述模式作為基礎，產(chǎn)生一個(gè)描述。注意，描述的二進(jìn)制表示是不必要的，文本表示足夠了。

三、MPEG-7的范圍

MPEG-7是針對存儲形式(在線(xiàn)、脫機)或流形式(如 Internet上的廣播、推送模型)的應用而制定的，并且可以在實(shí)時(shí)和非實(shí)時(shí)環(huán)境中操作。一個(gè)實(shí)時(shí)環(huán)境意味著(zhù)當采集資料時(shí)，信息是與內容相關(guān)的。

圖2是MPEG-7處理鏈的一種高度抽象示意圖，用于解釋MPEG-7的范圍。它包括特征抽取(分析)、描述本身和搜索引擎(應用)。為了全面開(kāi)發(fā) MPEG-7描述的潛力，自動(dòng)的特征(或是描述子)提取將是極其有用的。但是很清楚，自動(dòng)提取并不總是可能的，抽象層次越高，自動(dòng)提取的難度就越大，這時(shí)可以采用交互提取工具。但不管它們多么有用，無(wú)論是自動(dòng)的或半自動(dòng)的，都不包括在標準范圍之內。主要原因是不需要對它們標準化以建立互操作性，而是留有競爭的余地。另一個(gè)原因是在技術(shù)領(lǐng)域允許采納更好的改進(jìn)方案。搜索引擎也不包含在MPEG-7范圍之內，它不需要，競爭將產(chǎn)生最好的結果。

像其他MPEG家族成員一樣，MPEG-7是滿(mǎn)足特定需求的視聽(tīng)信息的標準表示。MPEG-7建立在其他標準表示的基礎之上，例如PCM、 MPEG-1、MPEG-2和MPEG-4。因此，MPEG-7會(huì )引用部分現有標準，如在MPEG-4中的形狀描述子也可以用于MPEG-7。相似地，也可以利用在MPEG-1和MPEG-2中的運動(dòng)矢量。

但MPEG-7描述子將不依賴(lài)于被描述內容的編碼和存儲方式?？梢园袽PEG-7的描述附加到模擬電影上去，或與印在紙上的圖片相關(guān)。即使 MPEG-7描述不依賴(lài)于資料的編碼表示，但是在某種程度上，該標準建立在MPEG-4之上。 MPEG-4提供對視聽(tīng)資料以對象方式編碼的方法，這些對象具有一定的時(shí)間(同步)和空間 (空間位置和三維感受)關(guān)系。利用MPEG-4編碼，將有可能把描述附加到場(chǎng)景中的元素(對象)上。

MPEG-7可以獨立于其他MPEG標準使用，在MPEG-4 中定義的表示方式也非常適合MPEG-7標準的建立。