騰訊多媒體實(shí)驗室：以提升用戶(hù)體驗為目的，構建音視頻質(zhì)量評估體系

近日，首屆Techo開(kāi)發(fā)者大會(huì )在北京召開(kāi)，在音視頻及通信分論壇上，騰訊多媒體實(shí)驗室專(zhuān)家研究員王海強發(fā)表了題為《視頻業(yè)務(wù)中的主客觀(guān)質(zhì)量評估》的演講，在當前音視頻發(fā)展風(fēng)口下，介紹了視頻質(zhì)量評估的主客觀(guān)方法、應用場(chǎng)景，并提出了建立在算法基礎上的主客觀(guān)視頻質(zhì)量評測平臺及其在業(yè)務(wù)線(xiàn)中的應用。

Techo開(kāi)發(fā)者大會(huì )是由騰訊云發(fā)起的面向全球開(kāi)發(fā)者和技術(shù)愛(ài)好者的年度盛會(huì )，作為一個(gè)專(zhuān)注于前沿技術(shù)研討的非商業(yè)大會(huì )，大會(huì )致力于開(kāi)發(fā)者的能力成長(cháng)和實(shí)踐創(chuàng )新，旨在通過(guò)匯聚全球頂尖行業(yè)專(zhuān)家和技術(shù)愛(ài)好者，搭建一個(gè)開(kāi)放、中立、活躍的技術(shù)交流平臺。本屆Techo大會(huì )邀請了海內外150位行業(yè)專(zhuān)家圍繞前沿技術(shù)發(fā)展進(jìn)行解讀，聚集了5000名開(kāi)發(fā)者參與技術(shù)交流和探討。

視聽(tīng)時(shí)代，音視頻應用越來(lái)越廣泛：直播、短視頻，視頻節目、音視頻通話(huà)……在萬(wàn)物訴諸音視頻的互聯(lián)網(wǎng)時(shí)代，用戶(hù)對音視頻質(zhì)量訴求也愈加強烈。為提高音畫(huà)質(zhì)量，基礎性工程便是建立行業(yè)評估體系，用評測標準對音視頻技術(shù)和產(chǎn)品進(jìn)行“打分”。然而，目前音視頻質(zhì)量評估領(lǐng)域仍存在門(mén)檻成本較高、主觀(guān)觀(guān)感存在偏差等難題。

王海強在演講中介紹了主客觀(guān)質(zhì)量評估方法，普及了兩者在PGC/UGC業(yè)務(wù)中的應用，并針對評估標準這一終極準則問(wèn)題，介紹了多媒體實(shí)驗室的自研算法和解決方案。

據王海強介紹，目前視頻質(zhì)量評估方法分為兩大類(lèi)：客觀(guān)質(zhì)量評估與主觀(guān)質(zhì)量評估。前者計算視頻的質(zhì)量分數，又根據是否使用高清視頻做參考、視頻質(zhì)量是否與失真程度成單調關(guān)系等進(jìn)一步細分；后者依賴(lài)人眼觀(guān)看并打分，能夠直觀(guān)反映觀(guān)眾對視頻質(zhì)量的感受。

目前，視頻質(zhì)量評測標準并不統一，常規做法是使用開(kāi)源模型VMAF來(lái)做PGC視頻的質(zhì)量把控，而對UGC視頻，只能依賴(lài)于開(kāi)發(fā)人員觀(guān)看視頻來(lái)定位、解決質(zhì)量問(wèn)題。王海強認為，視頻質(zhì)量評估的目標是“致力于評估視頻的人眼感知質(zhì)量”，即通過(guò)通用的、準確的、公平的測試能力與測試方法論，盡可能選擇最可靠的技術(shù)方案，以客觀(guān)與主觀(guān)評測相結合的方式，達到最接近人眼感知的質(zhì)量效果。

然而，主觀(guān)測試極其耗費人力和時(shí)間，整體效率較低，把所有質(zhì)量問(wèn)題都訴諸于主觀(guān)測試是不現實(shí)的。與其完全追求主觀(guān)測試的完美性，不如以“主觀(guān)質(zhì)量”為目的，通過(guò)基于深度學(xué)習的客觀(guān)音視頻質(zhì)量評估算法，進(jìn)行端到端的音視頻質(zhì)量評估，從而逼近人眼觀(guān)看的體驗效果。

對此，王海強介紹了多媒體實(shí)驗室的質(zhì)量評估解決方案：一是結合業(yè)務(wù)需求，使用“在線(xiàn)主觀(guān)質(zhì)量評測平臺”，來(lái)構建大規模主觀(guān)質(zhì)量數據庫；二是使用所收集的主觀(guān)數據來(lái)訓練基于深度學(xué)習的客觀(guān)質(zhì)量評估算法；三是部署訓練好的質(zhì)量評估算法到業(yè)務(wù)線(xiàn)中，閉環(huán)監控可能存在的質(zhì)量問(wèn)題。從以上三角度出發(fā)，音視頻質(zhì)量評估能夠在兼顧不同業(yè)務(wù)、場(chǎng)景的前提下，滿(mǎn)足效率與精度兩大需求。

騰訊多媒體實(shí)驗室：以用戶(hù)體驗為最終目的

王海強所介紹的“在線(xiàn)主觀(guān)質(zhì)量評測平臺”，便是騰訊多媒體實(shí)驗室在音視頻評估領(lǐng)域的落地產(chǎn)品——騰訊多媒體實(shí)驗室視頻質(zhì)量評測平臺。目前，這一平臺不僅能夠完成基于人眼的視頻質(zhì)量評測，模擬人耳的音頻質(zhì)量評測，還能夠在音頻的聲學(xué)指標、網(wǎng)絡(luò )指標及物理環(huán)境下對信號的主觀(guān)質(zhì)量進(jìn)行全面詳細的評估，適應了不同環(huán)境下的差異化測評場(chǎng)景。

同時(shí)，多媒體實(shí)驗室開(kāi)發(fā)了基于深度學(xué)習的全參考/無(wú)參考質(zhì)量評估算法。依托主觀(guān)測試平臺快速構建大規模視頻數據庫的能力，多媒體實(shí)驗室收集了數百萬(wàn)次的視頻質(zhì)量打分，訓練了基于深度學(xué)習的全參考和無(wú)參考質(zhì)量評估算法。兩個(gè)算法在公開(kāi)數據集上均取得了領(lǐng)先業(yè)界的性能。王海強提到多媒體實(shí)驗室會(huì )在近期內把算法開(kāi)源，進(jìn)一步促進(jìn)行業(yè)的發(fā)展。

除滿(mǎn)足單個(gè)評估需求外，視頻質(zhì)量評估還將在業(yè)務(wù)線(xiàn)中進(jìn)一步發(fā)揮作用。王海強認為，在業(yè)務(wù)線(xiàn)中引入視頻質(zhì)量評估后，將改變以往被動(dòng)發(fā)現質(zhì)量問(wèn)題、進(jìn)行人工檢查的狀況，變被動(dòng)為主動(dòng)，變人工為智能，利用AI進(jìn)行預防性質(zhì)量監控，并通過(guò)算法迭代不斷實(shí)現系統優(yōu)化，同時(shí)，評估系統的優(yōu)化又會(huì )進(jìn)一步反哺業(yè)務(wù)線(xiàn)的優(yōu)化。

在當前音視迎來(lái)發(fā)展風(fēng)口之時(shí)，騰訊多媒體實(shí)驗室不僅使非專(zhuān)業(yè)團隊能夠快速、準確的完成評估需求，還通過(guò)一系列嘗試，推動(dòng)了音視頻質(zhì)量評測標準的討論。近50項提案被下一代視頻編碼標準VVC/H.266采納。此外，在虛擬現實(shí)（VR）、點(diǎn)云（PCC）、網(wǎng)絡(luò )傳輸協(xié)議 （DASH）、多媒體系統（OMAF、CMAF、NBMP）等相關(guān)多媒體標準中也取得了突破性進(jìn)展，獲得多項標準核心專(zhuān)利，多名團隊成員在多個(gè)全球標準組織擔任董事、編輯、領(lǐng)域主席等重要席位。與此同時(shí)，多媒體實(shí)驗室也大力投入國家自主標準建設，針對國家標準AVS3進(jìn)行了相關(guān)布局，成為國際行業(yè)標準不可忽視的影響者和領(lǐng)導者。

未來(lái)，騰訊多媒體實(shí)驗室也將投入更多技術(shù)與實(shí)踐，帶頭制定行業(yè)規則，不斷提升用戶(hù)視聽(tīng)體驗。