魏云超：弱監督語(yǔ)義分割研究的早期開(kāi)拓者，推動(dòng)計算機視覺(jué)發(fā)展，或將為數字農業(yè)帶來(lái)巨大變革 | 創(chuàng )新35人專(zhuān)欄

1 月 22 日，由 DeepTech 攜手絡(luò )繹科學(xué)舉辦的“MEET35：創(chuàng )新者說(shuō)”論壇暨“35 歲以下科技創(chuàng )新 35 人”2021 年中國線(xiàn)上發(fā)布儀式成功舉行。來(lái)自科學(xué)界和產(chǎn)業(yè)界的人士在云端共同見(jiàn)證了新一屆中國青年科技領(lǐng)軍人物登場(chǎng)。

絡(luò )繹科學(xué)邀請到了“創(chuàng )新 35 人” 2021 中國入選者北京交通大學(xué)教授魏云超，做客直播間，從面向非完美數據像素理解方面的研究工作與我們進(jìn)行了分享。

作為“先鋒者”入選的魏云超主要研究集中在開(kāi)發(fā)基于不完美標注數據的深度學(xué)習相關(guān)技術(shù)，進(jìn)而幫助計算機“看到”和理解復雜場(chǎng)景中的各種物體。因其提出一系列原創(chuàng )的弱監督語(yǔ)義分割解決方案，而成功入選“創(chuàng )新 35 人”。

獲獎時(shí)年齡：35 歲

獲獎時(shí)職位：北京交通大學(xué)教授

獲獎理由：他是弱監督語(yǔ)義分割研究的早期開(kāi)拓者，推動(dòng)了非完美數據條件下視覺(jué)理解的發(fā)展。

人類(lèi)認知世界的信息中 83% 來(lái)自于視覺(jué)，而在人工智能時(shí)代，計算機視覺(jué)則是機器認知世界的基礎。

計算機視覺(jué)的發(fā)展歷史可以追溯至 20 世紀 60 年代，隨著(zhù)機器學(xué)習的興起，以及互聯(lián)網(wǎng)的崛起使得大量數據隨之產(chǎn)生，大規模數據集也隨之產(chǎn)生，這為機器學(xué)習應用于計算機視覺(jué)領(lǐng)域提供了一個(gè)良好的環(huán)境。2010 年左右，因深度學(xué)習的產(chǎn)生，人工智能迎來(lái)了一次大變革。在過(guò)去 10 年中，基于深度學(xué)習的監督學(xué)習極大地提升了計算機視覺(jué)相關(guān)任務(wù)的性能。

監督學(xué)習的成功主要歸功于大規模標注數據的出現和計算機硬件的發(fā)展。然而，這些監督學(xué)習的算法通常都依賴(lài)大量完美標注的數據，即“data-hungry”。在很多真實(shí)場(chǎng)景中，往往很難獲得足夠多高質(zhì)量的標注數據，導致這些監督算法很難被直接用于真實(shí)的工業(yè)級應用中。

為了解決這個(gè)問(wèn)題，魏云超自 2014 年開(kāi)始從事基于不完美數據的相關(guān)研究，開(kāi)發(fā)基于不完美標注數據的深度學(xué)習相關(guān)技術(shù)，是該領(lǐng)域早期的開(kāi)拓者之一。他已經(jīng)在國際頂級期刊和頂級會(huì )議論文上發(fā)表了眾多具有國際影響力的研究論文，包括在模式識別和機器智能領(lǐng)域最好的國際期刊 IEEE TPAMI 上發(fā)表的 12 篇高質(zhì)量論文，并多次受邀作為專(zhuān)家參與研究領(lǐng)域的同行評審工作。

弱監督語(yǔ)義分割早期開(kāi)拓者，多種方案推動(dòng)計算機視覺(jué)發(fā)展

2013 年底，魏云超以訪(fǎng)問(wèn)學(xué)者的身份進(jìn)入新加坡國立大學(xué)顏水成教授的機器學(xué)習與計算機視覺(jué)實(shí)驗室。當時(shí)由于深度學(xué)習的興起，大量計算機視覺(jué)基礎問(wèn)題的解決方案被重新定義，魏云超在顏水成教授的指導下開(kāi)始涉獵分類(lèi)、檢測和分割等核心問(wèn)題。

弱監督語(yǔ)義分割

在研究過(guò)程中，魏云超發(fā)現所有跟深度學(xué)習相關(guān)的計算機視覺(jué)算法都依賴(lài)大量的標注樣本，若沒(méi)有足夠多的訓練樣本，結果就會(huì )很差。這個(gè)問(wèn)題在語(yǔ)義分割上的表現尤為突出，因為一張完美的像素級標注樣本往往需要消耗幾分鐘甚至一個(gè)小時(shí)?；诖?，魏云超提出了一系列弱監督語(yǔ)義分割解決方案，利用相對容易獲取的圖像標簽作為監督信息進(jìn)行訓練，在測試中完成復雜的圖像分割任務(wù)，即像素級分類(lèi)，這種方法比當時(shí)最高的弱監督的結果提高了 10%。

但在研究過(guò)程中，魏云超發(fā)現標注數據并不直接含有標簽和像素的對應關(guān)系，存在語(yǔ)義關(guān)聯(lián)鴻溝。針對這些問(wèn)題，魏云超提出了物體顯著(zhù)性引導、識別-擦除相對抗、注意力遷移等多種解決方案，并在過(guò)去三年將模型在 PASCAL 數據集上的分類(lèi)性能提升了 20%。

識別-擦除相對抗

在絡(luò )繹科學(xué) APP 上中國區第五屆“35 歲以下科技創(chuàng )新 35 人”的線(xiàn)上發(fā)布儀式中，魏云超重點(diǎn)分享了他在識別-擦除相對抗這一方案的工作。

分類(lèi)網(wǎng)絡(luò )通常僅依賴(lài)于物體的某些判別區域。比如，在一張以狗為主體的圖片中，狗的頭部通常具有較強的判別力，可以使網(wǎng)絡(luò )識別出圖片中包含狗，從而忽略狗的其他區域。但對于弱監督學(xué)習的語(yǔ)義分割任務(wù)而言，需要比較稠密和完整的定位圖去訓練更好的模型，僅僅依賴(lài)于分類(lèi)網(wǎng)絡(luò )直接生成的定位圖很難訓練出有效模型。

受計算機輔助制造（CAM）的啟發(fā)，魏云超先將包含狗的圖片輸入分類(lèi)網(wǎng)絡(luò )，通過(guò)訓練得到對于狗而言最具判別力的區域，如狗的頭部。接下來(lái)，將狗的頭部從圖片中擦除掉，并將擦除后的圖片輸入分類(lèi)網(wǎng)絡(luò )進(jìn)行再訓練。網(wǎng)絡(luò )會(huì )尋找其他證據來(lái)使得圖像可以被正確分類(lèi)，進(jìn)而找到狗的胸部。重復此操作后，狗的腳部區域也可以被發(fā)現。最后，將擦除掉的區域合并從而獲取相對完整的區域。通過(guò)挖掘出很多高質(zhì)量的物體的區域用來(lái)去訓練分割網(wǎng)絡(luò )的方式，可以得到比之前更高的結果。

基于以上工作，魏云超發(fā)表了兩篇對該領(lǐng)域有重要推動(dòng)作用的文章，一篇利用顯著(zhù)性分析圖來(lái)建立圖像類(lèi)別標簽和像素的關(guān)聯(lián)，文章發(fā)表在 2016 年的 IEEE T-PAMI 上，他引次數為 275，這一工作將分割性能至少提升了 10%。另一篇是創(chuàng )新性地提出了對抗-擦除（adversarial erasing）這一概念，該文章 2017 年被 CVPR 接收為 oral 報告文章（錄用率僅2.67%），他引次數為 254，并在隨后影響了很多其它方向的研究人員。

為推動(dòng)相關(guān)研究，魏云超還組織了第一屆和第二屆 CVPR Learning from Imperfect Data (LID) 研討會(huì )和 ICCV Real-World Recognition from Low Quality Images and Videos (RLQ) 研討會(huì )，吸引了數百位來(lái)自世界各地的研究人員，推動(dòng)了利用有限標注或噪聲等不完美數據來(lái)解決計算機視覺(jué)及其應用方面的相關(guān)研究。

創(chuàng )建免費開(kāi)放的高校標注平臺，將重點(diǎn)研究農業(yè)圖像和無(wú)人機視覺(jué)

最近幾年，除了之前的研究方向外，魏云超主要針對視覺(jué)媒體的物體和場(chǎng)景分割展開(kāi)研究，并在半監督視頻分割、交互式圖像/視頻分割領(lǐng)域進(jìn)行了深入研究。他提出的 Inside-Outside Guidance (IOG) 交互分割方法，在 10 個(gè)數據集上都取得了國際領(lǐng)先的分割結果?；?IOG，魏云超快速且精準地標注國際知名的包含 1000 類(lèi)物體的 ImageNet 數據集。

圖像/視頻分割具備非常廣闊的應用場(chǎng)景，包括自動(dòng)駕駛、醫療圖像分割、農業(yè)圖像分割、衛星圖像識別及視頻編輯等。但所有的應用場(chǎng)景目前都受制于數據的缺失，即很難獲取大量高精度的標注數據。因此，魏云超計劃將自己在圖像和視頻分割上的研究成果整合成一個(gè)高效的標注平臺，利用深度學(xué)習技術(shù)輔助標注，并免費對外開(kāi)放。

談到下一個(gè)階段的研究方向和目標時(shí)，魏云超表示，除之前的研究方向外，還將在農業(yè)圖像和無(wú)人機視覺(jué)這兩個(gè)方向投入更多精力。

“中國是農業(yè)大國，但針對農業(yè)方面的計算機視覺(jué)相關(guān)研究，在國內幾乎沒(méi)有。我今年同伊利諾伊大學(xué)厄本那香檳分校和美國 IntelinAir 公司合作推出了首個(gè)大規模的農業(yè)圖像分割數據集 AGRICULTURE-VISION。但在構建數據集過(guò)程中標注非常困難，我們也引入了一些弱監督和交互式物體分割技術(shù)來(lái)解決這一問(wèn)題。后面希望這一方向能在中國得到更多重視和發(fā)展?！蔽涸瞥f(shuō)道。

“隨著(zhù)新冠疫情的全球爆發(fā)，無(wú)人配送也得到了更多關(guān)注。如何使得無(wú)人機自動(dòng)感知整個(gè)場(chǎng)景實(shí)現自動(dòng)配送或定點(diǎn)投放，有可能會(huì )成為將來(lái)重要的實(shí)際應用點(diǎn)。但由于無(wú)人機下真實(shí)場(chǎng)景的數據收集非常困難，我利用 Google Earth 的 3D 引擎構建一個(gè)無(wú)人機目標定位數據集 University-1652，目標是希望通過(guò)衛星圖或地面圖使得無(wú)人機自動(dòng)識別建筑。雖然圖像是虛擬的不完美數據，但希望通過(guò)領(lǐng)域自適應等技術(shù)在未來(lái)解決這一問(wèn)題?！?/span>