基于內容的信息存取與MPEG-7

MPEG-7強調的是提供新的視聽(tīng)內容描述方案。因此，文本不是MPEG-7的描述目標，但視聽(tīng)內容可以包含或引用文本。因此，MPEG-7將考慮現有的其他標準組織開(kāi)發(fā)的文本處理方案，并適當地支持這些標準。

四、 如何描述多媒體數據的內容

1.描述原則

在MPEG-7中，考慮了全面的描述原則。

(1) 多重和分層描述

由于描述特征在相應的應用中具有相應的含義，對于不同的用戶(hù)領(lǐng)域和不同的應用，描述特征將是不同的。

這意味著(zhù)相同的資料可以使用不同類(lèi)型的特征進(jìn)行描述，以適應具體的應用領(lǐng)域。這里涉及到多重描述和分層描述的問(wèn)題。在描述上，MPEG-7 允許不同的顆粒度，提供不同的鑒別級別。

多重描述就是在多媒體數據生成處理的各階段，支持對相同資料進(jìn)行多重描述的能力，并可以把描述附加到相同資料的多份拷貝上。

分層描述基于多媒體資料的抽象級別。分層機制可以允許在不同的抽象級別上描述多媒體內容。抽象級別與特征抽取的方式有關(guān)，許多低級特征可以全自動(dòng)地抽取，而高級特征則需要更多的人工交互。另外，還可以從不同的應用需求角度來(lái)描述媒體資料，例如從子對象的角度、運動(dòng)分析的序列角度、視頻的情節結構等角度描述多媒體內容。

描述模式支持不同描述子的分層表示，第N層描述是 N-1層描述的增強、精煉或補充，以便查詢(xún)能有效地一層一層地處理，支持高效的查詢(xún)。

(2) 關(guān)系描述

用描述模式來(lái)表達描述子之間的各種關(guān)系，允許描述子在多個(gè)描述模式中使用。

MPEG-7支持描述子與不同時(shí)間范圍相關(guān)聯(lián)，可以是層次型的，即描述子與整個(gè)數據和部分時(shí)間子集關(guān)聯(lián);或順序型的，描述子與時(shí)間段順序關(guān)聯(lián)。

(3) 支持查詢(xún)方面

支持音頻、視覺(jué)或其他描述子在交叉模式下的查詢(xún)，如允許基于視覺(jué)描述的查詢(xún)去檢索音頻數據或相反的過(guò)程。

描述模式支持描述子的優(yōu)先級，以便更有效地處理查詢(xún)，同時(shí)優(yōu)先級可以反映信任或可靠級。另外，還可以支持描述子作為句柄，直接引用數據，操縱多媒體資料。

2.多媒體特征類(lèi)型

MPEG-7支持各種類(lèi)型的多媒體特征，如:

N維時(shí)空特征 對于空間類(lèi)型，從微觀(guān)上看，是對象的紋理和形狀，從宏觀(guān)上看，是對象的空間關(guān)系和表現空間;時(shí)間類(lèi)型，指對象隨時(shí)間變化的軌跡，如音樂(lè )區段的持續時(shí)間等。

客觀(guān)特征 反映視聽(tīng)數據本身具備的特性。如對象的顏色、形狀、紋理、音頻頻率等。

主觀(guān)特征 人對視聽(tīng)數據的主觀(guān)感知。如對情緒(快樂(lè )、憤怒)和風(fēng)格的描述。

產(chǎn)品特征 如記錄作者、生產(chǎn)者、導演等信息。

合成信息 包括場(chǎng)景合成、編輯信息、用戶(hù)的喜好等。

概念 用于描述事件和活動(dòng)等概念。

在許多情況下，利用文本信息作為描述是可取的。但必須注意到，有用的描述盡可能獨立于語(yǔ)言范疇，采用清楚的描述形式，如用作者、影片、地名的文本形式。

除了內容的描述，還需要包含其他類(lèi)型有關(guān)多媒體數據的信息：

形式 如編碼模式、數據大小。該信息幫助確定資料是否對用戶(hù)是“可讀”的。

存取資料的條件 可以包含版權、許可證和授權信息以及價(jià)格數據。

類(lèi)別 可以包含父等級，用于歸入預定的類(lèi)。

到其他相關(guān)資料的鏈 支持其他信息與數據的關(guān)聯(lián)。

上下文 資料記錄的場(chǎng)合，如“1996年奧運會(huì )男子200 米障礙決賽” 中描述的時(shí)間和地點(diǎn)。

交互活動(dòng) 支持交互活動(dòng)工具，允許說(shuō)明與描述相關(guān)的交互活動(dòng)。如與廣告相關(guān)的遠程購物中的交互。

MPEG-7數據可以物理上與相關(guān)的AV資料在一起或在相同的數據流或在相同的存儲系統中，但描述也可以放在全球的任何其他地方。當內容和它的描述不在一個(gè)地方時(shí)，需要鏈接AV資料和它們的MPEG-7描述的機制，這些鏈應該是雙向的。

3. 視覺(jué)數據的描述

MPEG-7具體對視覺(jué)方面的描述子和描述模式有以下方面的要求：

(1) 特征類(lèi)型

視覺(jué)描述允許以下特征(與查詢(xún)中使用的信息類(lèi)型有關(guān))：顏色、視覺(jué)對象、紋理、輪廓(草圖)、形狀、靜止和動(dòng)態(tài)圖像、體積、空間關(guān)系(相對于圖像和圖像序列中的對象空間和拓撲關(guān)系，這個(gè)關(guān)系是空間合成關(guān)系)、運動(dòng)(如視頻鏡頭中的運動(dòng)，用于利用時(shí)間合成信息來(lái)檢索等方面)、變形(如對象的彎曲)、視覺(jué)對象的源和它的特性(如源對象、源事件、源屬性、事件、事件屬性等)、模型(如MPEG-4 SNHC)。

(2) 利用描述進(jìn)行數據可視化

MPEG-7數據描述應該容許被索引數據或多或少地粗略可視化。

(3) 可視數據的格式

支持以下可視數據格式：數字視頻和電影(例如MPEG- 1/2/4)、模擬視頻和電影、電子形式的靜態(tài)圖像(如JPEG)或紙上的圖像、圖形、3D模型以及與視頻關(guān)聯(lián)的編輯數據。

(4) 可視數據類(lèi)型

可以是自然視頻、靜態(tài)圖像、圖形、動(dòng)畫(huà)、三維模型、編輯信息。

4.聽(tīng)覺(jué)數據的描述

同樣，對音頻數據的描述子和描述模式有以下要求：

(1) 特征類(lèi)型

頻率輪廓線(xiàn)、音頻對象、音色、和聲、頻率特征、振幅包絡(luò )、時(shí)間結構(包括節奏)、文本內容(語(yǔ)音或歌詞)、聲波近似值(通過(guò)哼唱一段旋律或發(fā)出一種聲音效果來(lái)生成)、原型聲音(典型的用于示例查詢(xún))、空間結構(用于多通道聲源，如立體聲、5.1通道等，每個(gè)聲道有特定的映像)、聲源和它的特性(例如源對象、源時(shí)間、源屬性、事件、事件屬性和典型的關(guān)聯(lián)場(chǎng)景)、模型(如MPEG-4 SAOL)。

(2) 描述數據的聽(tīng)覺(jué)化

類(lèi)似視覺(jué)數據的要求。

(3) 聽(tīng)覺(jué)數據格式

數字音頻(如MPEG-1音頻、CD)、模擬音頻(如錄音帶介質(zhì))、MIDI(包括一般的MIDI和Karaoke格式)、基于模型的音頻、產(chǎn)品數據。

(4) 聽(tīng)覺(jué)數據類(lèi)

聲音軌跡(自然音頻場(chǎng)景)、音樂(lè )、原子聲音效果(如掌聲)、語(yǔ)音、符號音頻表示(MIDI、SNHC音頻)、混音信息(包括效果)。