交大教授盛斌：元宇宙熱潮下，應更關(guān)注研究應用轉化模式突破

“現在國內外各界熱烈討論虛擬現實(shí)及元宇宙等概念是好事，也是推動(dòng)相關(guān)學(xué)科進(jìn)步的催化劑，但作為科學(xué)研究來(lái)說(shuō)，我認為最重要的可能不在于某個(gè)技術(shù)或算法的本身本身的進(jìn)步，而是相關(guān)技術(shù)對傳統科學(xué)研究思維范式的突破，對于既往人類(lèi)生活、運動(dòng)、及健康管理方式的改變?！鄙虾＝煌ù髮W(xué)計算機科學(xué)與工程系教授盛斌接受澎湃新聞（www.thepapewr.cn）專(zhuān)訪(fǎng)時(shí)表示。盛斌為國家“萬(wàn)人計劃”青年拔尖人才獲得者、教育部人工智能重點(diǎn)實(shí)驗室及上海人工智能研究院智慧醫療技術(shù)負責人，在人工智能及虛擬現實(shí)（Virtual Reality，VR）領(lǐng)域均有所研究。盛斌課題組基于上海交通大學(xué)附屬第六人民醫院賈偉平院士領(lǐng)銜構建的全球最大規模社區糖尿病眼底影像數據庫，構建了糖尿病視網(wǎng)膜病變全病程智能診斷系統——DeepDR系統，實(shí)現對糖尿病視網(wǎng)膜病變從輕度到增殖期病變的全病程自動(dòng)診斷，并能對眼底圖像的質(zhì)量進(jìn)行實(shí)時(shí)反饋以及眼底病變的識別分割。論文被《Nature》子刊《Nature Communications》遴選為亮點(diǎn)論文(Editors’Highlights)，被認為是近來(lái)國際學(xué)術(shù)界“在轉化及臨床研究領(lǐng)域中取得的最重要技術(shù)創(chuàng )新和研究成果之一”。

在虛擬現實(shí)領(lǐng)域，從2019年盛斌團隊深度參與由上海體育學(xué)院牽頭的科技部“科技冬奧”攻關(guān)項目中，為中國備戰2022北京冬奧會(huì )的運動(dòng)員構建基于虛擬現實(shí)的雪車(chē)仿真訓練平臺。由于雪車(chē)滑道造價(jià)高昂，技術(shù)要求極高，目前全世界極少數國家分布著(zhù)17條雪車(chē)滑道，相關(guān)場(chǎng)地資源的極度需求極大困擾中國運動(dòng)員備戰比賽。例如由于沒(méi)有合適的賽道支持，2017年的首屆中國雪車(chē)錦標賽都是在加拿大卡爾加里舉行的。

“在上海體育學(xué)院王然教授和高炳宏教授的大力支持和幫助下，我們曾多次征求中國國家隊領(lǐng)隊、教練和運動(dòng)員的意見(jiàn)與反饋，其目的就是希望直面困擾中國冰雪運動(dòng)大規模普及在技術(shù)上的卡脖子挑戰，進(jìn)而在根本上通過(guò)科技力量推動(dòng)中國冰雪運動(dòng)水平提升。在科技冬奧項目支持下，我們通過(guò)真實(shí)感圖形建模與渲染，冰雪滑行中的物理仿真、以及高沉浸式的虛擬現實(shí)交互，將虛擬環(huán)境下的雪車(chē)運動(dòng)訓練轉變?yōu)榫哂懈咚礁偧俭w驗效果的虛擬仿真輔助教學(xué)與訓練系統，而不是游戲?！笔⒈蟊硎?。

“冰雪運動(dòng)不應該僅僅屬于谷愛(ài)凌”，盛斌笑著(zhù)說(shuō)，“虛擬現實(shí)技術(shù)可以讓更多中國青少年體驗到冰雪運動(dòng)帶來(lái)的快樂(lè )?！?019年起盛斌帶隊研發(fā)的冰雪運動(dòng)虛擬仿真系統及其教學(xué)應用被上海市教委遴選為上海市虛擬仿真教學(xué)項目及上海交通大學(xué)校級一流課程。

2022年1月，在北京冬奧會(huì )召開(kāi)前夕，由上海體育學(xué)院王繼紅副校長(cháng)牽頭，上海交通大學(xué)、寶山區教育局及上海人工智能研究院等產(chǎn)學(xué)研用單位聯(lián)合，在教育部支持下組建“智能體育教育部應用實(shí)踐共同體”，其中的一項任務(wù)就是依托盛斌團隊研制的冰雪運動(dòng)虛擬仿真系統，將其推廣到上海市寶山區各個(gè)中小學(xué)的體育教學(xué)和科技體驗中，幫助更多上海青少年了解并熱愛(ài)冰雪運動(dòng)。盛斌說(shuō)道，“相當于在他內心里留下一點(diǎn)點(diǎn)火苗?！?/p>

“我們國家曾長(cháng)期在冬奧會(huì )上的競技表現不突出，究其原因，首先固然是沒(méi)有足夠的冰雪地理資源，其二是我們對青少年的冰雪運動(dòng)的知識普及工作存在短板?！笔⒈蟊硎?。不僅在中國如此，事實(shí)上除了舉辦過(guò)冬季奧運會(huì )的國家之外幾乎沒(méi)有多少?lài)視?huì )建設這種高投入低產(chǎn)出的專(zhuān)業(yè)滑道——大型滑雪場(chǎng)還可以在比賽之后轉成民用休閑設施，純粹專(zhuān)業(yè)化的賽道實(shí)在難有除訓練比賽之外的后續利用的價(jià)值。而且雪車(chē)運動(dòng)速度一般可達130公里每小時(shí)，世界紀錄已經(jīng)突破200公里每小時(shí)，有“雪上F1”之稱(chēng)，出于安全考慮也對參與者有很高專(zhuān)業(yè)性要求。

對此，盛斌認為，“不管是鋼架雪車(chē)、滑雪，還是速滑，這些運動(dòng)員之所以成功背后固然有其身體條件及興趣愛(ài)好等因素。但中國人口眾多，擁有豐富的身體素質(zhì)適合冰雪運動(dòng)的運動(dòng)人才資源，但受到地理氣候原因限制，并非所有這些人都能很容易在啟蒙階段就能實(shí)地接觸到冰雪運動(dòng)，大量的冰雪天才也許就此埋沒(méi)，那么，上海交通大學(xué)和上海體育學(xué)院聯(lián)合研制的虛擬現實(shí)環(huán)境中冰雪運動(dòng)仿真系統，也許能最大程度地幫助中國冰雪運動(dòng)未來(lái)的人才儲備，幫助他們邁出冰雪人生的第一步?！?/p>

盛斌同時(shí)也結合當下炙熱的“元宇宙”概念，進(jìn)一步闡釋了冰雪運動(dòng)虛擬仿真系統背后的技術(shù)背景，“我們的冰雪運動(dòng)虛擬仿真系統可以看成是關(guān)于冰雪運動(dòng)教學(xué)的元宇宙應用，而元宇宙可以看成是虛擬現實(shí)環(huán)境里人類(lèi)網(wǎng)絡(luò )化生活的表達形式。虛擬現實(shí)中所謂虛擬，就是指采用以計算機技術(shù)為核心，結合相關(guān)科學(xué)領(lǐng)域，生成虛擬的數字化環(huán)境，提供人們視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、空間信息以及其他感知；而所謂現實(shí)，就是指這樣的數字化虛擬環(huán)境及其提供給人們的各類(lèi)感知信息，能讓人沉浸其中，產(chǎn)生真實(shí)感?！?/p>

VR初成熟：眩暈還未完全解決

5G乃至后5G時(shí)代，支持VR大規模發(fā)展的基礎硬件如芯片、傳感器、光學(xué)元件、顯示屏等皆已具備成熟發(fā)展條件。使用VR等設備作為接口的元宇宙概念股公司Roblox在2021年3月上市后市值就達500億美元，后字節跳動(dòng)收購國內第一家VR廠(chǎng)商Pico又一次引起廣泛關(guān)注。此外，歌爾集團從2012年開(kāi)始布局VR/AR產(chǎn)業(yè)，目前占據全球中高端虛擬現實(shí)頭顯70%的市場(chǎng)份額，并率先引進(jìn)世界領(lǐng)先的12英寸納米壓印生產(chǎn)線(xiàn)，打造全球領(lǐng)先的VR/AR高端光學(xué)零組件產(chǎn)業(yè)基地。

據IDC在2021年11月發(fā)布的報告預測，VR頭戴設備的出貨量將從2020年的約500萬(wàn)臺增加到2025年的超過(guò)2800萬(wàn)臺。Meta（原Facebook）CEO扎克伯格曾表示，在一個(gè)平臺上需要有約1000萬(wàn)人使用和購買(mǎi)VR內容才能使開(kāi)發(fā)人員持續研發(fā)以及獲利；而一旦超過(guò)這個(gè)門(mén)檻，內容和生態(tài)系統將會(huì )實(shí)現跨越式發(fā)展。

在虛擬現實(shí)的國內學(xué)術(shù)生態(tài)建設上，由中國學(xué)術(shù)界自主創(chuàng )辦的虛擬現實(shí)領(lǐng)域國際期刊Virtual Reality & Intelligent Hardware（VRIH）創(chuàng )刊不到三年，即于今年1月底被世界上最廣泛，最完整的工程文獻數據庫EI Compendex收錄，并即將于今年10月與虛擬現實(shí)及圖形學(xué)領(lǐng)域里歷史最悠久的知名國際學(xué)術(shù)會(huì )議Computer Graphics International（CGI2022）聯(lián)袂組織”元宇宙”專(zhuān)輯，作為VRIH期刊編委，盛斌認為，上述事件均側面證明了中國虛擬現實(shí)學(xué)術(shù)及產(chǎn)業(yè)成果在國際具有日益重要的影響力。

在設計冰雪運動(dòng)虛擬仿真系統過(guò)程中，盛斌體會(huì )其中最微妙的地方在于跨越固有知識領(lǐng)域限制，針對一項完全沒(méi)有過(guò)任何前期經(jīng)驗的運動(dòng)開(kāi)展真實(shí)感建模與仿真，并致力于用虛擬現實(shí)與人工智能技術(shù)將別人對這個(gè)活動(dòng)的真實(shí)體驗和感受最大程度地還原與再現出來(lái)?！斑@其實(shí)就是元宇宙的魅力之一，要真正做好這件事，除了對于建模、渲染或交互技術(shù)一個(gè)個(gè)難題的攻關(guān)之外，很重要的地方也在于把其他學(xué)科，如運動(dòng)生理學(xué)、一些設備器材在冰上運動(dòng)規律等，融會(huì )在系統開(kāi)發(fā)過(guò)程中?！?/p>

賽迪研究院發(fā)布的《虛擬現實(shí)產(chǎn)業(yè)發(fā)展白皮書(shū)2021》顯示，當前虛擬現實(shí)產(chǎn)業(yè)眩暈、交互等關(guān)鍵核心技術(shù)上尚未突破，VR、AR、MR等終端設備的佩戴舒適度和視覺(jué)舒適度與舒適體驗還有差距。

對于眩暈感，盛斌解釋道，“本質(zhì)上來(lái)說(shuō)，暈眩實(shí)際上來(lái)自大腦處理‘不夠真實(shí)的信息’時(shí)帶來(lái)的不適感。如視覺(jué)感知上帶來(lái)的不真實(shí)感，畫(huà)面閃爍、分辨率很低，或光影效果不太正常，都會(huì )帶來(lái)不適?，F在有很多處理眩暈的技術(shù)，但目前這個(gè)問(wèn)題我覺(jué)得并沒(méi)有被完全攻克。這也是為什么現在很多說(shuō)元宇宙，但實(shí)際體驗上還是會(huì )卡在設備?！?/p>

“終極顯示”：未來(lái)人類(lèi)數字化社會(huì )的虛擬現實(shí)窗口-元宇宙

早在1965年，計算機圖形學(xué)之父伊萬(wàn)·薩瑟蘭曾發(fā)表一篇題為《終極顯示》（The Ultimate Display）的短文，提出顯示技術(shù)的終極目標就是使人直接沉浸在計算機控制的虛擬環(huán)境之中，就如同日常生活在真實(shí)世界一樣?！爱敃r(shí)對這種顯示技術(shù)終極狀態(tài)的預期還是Windows系統的窗口，人可以走進(jìn)Windows里，就像愛(ài)麗絲夢(mèng)游仙境一樣然可以運動(dòng)，可以聽(tīng)可以看可以摸可以聞?！笔⒈笳f(shuō)道。

這樣的“終極顯示”思想延續到了今天就有了“下一代通用計算平臺”的說(shuō)法。2016年高盛發(fā)布報告《VR與AR：解讀下一個(gè)通用計算平臺》（AR增強現實(shí)，Augmented Reality）。2022年2月，國泰君安發(fā)布報告《MR：通向元宇宙的下一代通用計算平臺》（MR混合現實(shí)，Mixed Reality）。盛斌透露，他目前正在與上海交通大學(xué)講席教授賈偉平院士團隊密切合作攻關(guān)，與來(lái)自體育科學(xué)、臨床醫學(xué)、心理學(xué)及腦科學(xué)的多學(xué)科專(zhuān)家團隊協(xié)同開(kāi)展科研攻關(guān)，研制面向未來(lái)生活中人民健康智能精細化管理的“靈境”系統，希望通過(guò)人工智能和虛擬現實(shí)去回答當前困擾科學(xué)界多年的難題：真實(shí)世界體育鍛煉與虛擬世界(元宇宙)VR運動(dòng)各自對于人類(lèi)身心健康有何影響。

盛斌認為這些努力的背后蘊含著(zhù)他所堅持的科研信念，“如果我們最后跟機器的溝通通過(guò)AR、VR或MR這樣的方式，那么通過(guò)綜合運用多學(xué)科交叉知識，基于大數據和高性能通用計算平臺，虛擬仿真與人工智能完全可實(shí)現對真實(shí)世界與人體狀態(tài)變化規律的模擬與預測?！?/p>