CVPR 2022丨清華大學(xué)提出：無(wú)監督域泛化 (UDG)

近日，清華大學(xué)崔鵬團隊在CVPR 2022上發(fā)表了一篇工作，針對傳統域泛化 (DG) 問(wèn)題需要大量有標簽數據的問(wèn)題，提出了無(wú)監督域泛化 (UDG) 問(wèn)題，旨在通過(guò)利用無(wú)標簽數據進(jìn)行預訓練提升模型在未知域上的泛化能力，并為 UDG 提出了 DARLING 算法。該算法僅使用ImageNet 數據量 1/10 的無(wú)標簽數據進(jìn)行預訓練即可在DomainNet上超過(guò)ImageNet預訓練的效果。

1 DG簡(jiǎn)介&現有DG的問(wèn)題

目前深度學(xué)習在很多研究領(lǐng)域特別是計算機視覺(jué)領(lǐng)域取得了前所未有的進(jìn)展，而大部分深度學(xué)習算法假設訓練數據（應用前可獲取的數據）和測試數據（實(shí)際應用中遇到的實(shí)例）是獨立同分布的。當訓練數據與測試數據分布不同時(shí)，傳統深度模型對訓練數據的充分擬合會(huì )造成其在測試數據上的預測失敗，進(jìn)而導致模型應用于不同環(huán)境時(shí)的可信度降低。

越來(lái)越多的研究者開(kāi)始研究模型遷移到未知分布數據的域泛化問(wèn)題 (Domain Generalization, DG)，如圖1所示。域泛化問(wèn)題旨在通過(guò)模型對多個(gè)源域數據的學(xué)習來(lái)提高在未知目標域上的預測表現。

許多現有DG方法都依賴(lài)于充分的訓練數據學(xué)習跨域不變的表征，但人工標注大量跨域數據開(kāi)銷(xiāo)極大或難以實(shí)現（比如醫療圖片等特殊領(lǐng)域標注難度大，成本高）。并且現有DG算法均默認使用ImageNet上預訓練的參數作為模型的初始化，而ImageNet作為若干個(gè)域的混合體，用作預訓練可能會(huì )給模型引入偏差。例如對于DG的一個(gè)benchmark PACS數據集來(lái)說(shuō)，ImageNet相當于其中的”photo”域，對于DomainNet數據集來(lái)說(shuō)ImageNet相當于其中的”real”域，所以這個(gè)有類(lèi)別標注的預訓練過(guò)程相當于在DG數據中的一個(gè)域上進(jìn)行，會(huì )引入在域上的偏差 (比如幾乎所有的方法在”photo”和”real”域上的表現都是最好的)。

為了減少提升模型泛化能力對有標注的跨域數據的依賴(lài)，本文提出無(wú)監督域泛化問(wèn)題，旨在使用無(wú)類(lèi)別標注的數據提高模型在未知域上的泛化能力。實(shí)驗證明使用異質(zhì)性數據進(jìn)行合適地無(wú)監督預訓練在DG上的表現優(yōu)于ImageNet 預訓練策略。

無(wú)監督域泛化 (UDG) 問(wèn)題如圖2所示。在UDG中，為了避免ImageNet等預訓練數據對DG問(wèn)題帶來(lái)的偏置，模型均采用隨機初始化。模型使用用來(lái)自不同源域的無(wú)標簽數據進(jìn)行預訓練，學(xué)到表征空間。然后模型在有類(lèi)別標簽的源域數據上進(jìn)行訓練，微調表征空間和學(xué)習分類(lèi)器，最終在未見(jiàn)過(guò)的目標域上進(jìn)行測試。預訓練和訓練數據的域之間可以有重疊，而所有訓練數據 (包括有標簽和無(wú)標簽數據) 和測試數據之間沒(méi)有域重疊。用于finetuning的有標簽數據與測試數據共享相同的類(lèi)別空間以支持模型學(xué)習表征到被別的映射。

近年來(lái)，自監督學(xué)習 (self-supervised learning) 取得了長(cháng)足發(fā)展，以SimCLR v2、MoCo v2為代表的自監督學(xué)習算法利用大量互聯(lián)網(wǎng)中易獲取的無(wú)標簽數據學(xué)習表征空間，消除了模型預訓練對有標簽數據的依賴(lài)，并在很多下游任務(wù)中超過(guò)了ImageNet預訓練的效果。

一個(gè)直接的思路是將自監督學(xué)習的算法應用到無(wú)監督域泛化 (UDG) 問(wèn)題中，從而利用大量易獲取的無(wú)標簽數據提高模型在未知領(lǐng)域上的泛化能力。而在UDG中，用以預訓練的數據中存在強異質(zhì)性，所以直接使用對比學(xué)習的方法會(huì )導致模型學(xué)習到域相關(guān)的特征而非物體類(lèi)別相關(guān)的特征，所以在未見(jiàn)過(guò)的目標域上測試時(shí)無(wú)法準確識別物體類(lèi)別。具體來(lái)說(shuō)，對比學(xué)習的關(guān)鍵在于區分負樣本對中的不同圖片，如果負樣本對中的圖片來(lái)自不同的域，且這兩種域非常容易區分 (如簡(jiǎn)筆畫(huà)域與照片域)，則模型很容易根據域相關(guān)的特征來(lái)區分負樣本對中的圖片而不需學(xué)到真正對下游任務(wù)有效的信息 (如物體類(lèi)別的特征)，所以這樣學(xué)出來(lái)的特征空間在下游任務(wù)上表現較差。

基于以上的觀(guān)察，本文提出了Domain-Aware Representation LearnING (DARLING) 算法來(lái)解決UDG預訓練數據中顯著(zhù)且誤導性的跨域異質(zhì)性，學(xué)習與域無(wú)關(guān)而與物體相關(guān)的特征。DARLING的結構圖3所示。

如前所述，現有對比學(xué)習方法采用的contrastive loss并未考慮數據中異質(zhì)性的影響，即其計算方式為

其中  為負樣本隊列,  與  為同一張圖片經(jīng)過(guò)兩種預處理和編碼得到的特征向量。而 DARLING考慮了負樣本對中域差異的影響, 所以圖片偽標簽 (pseudo label) 的產(chǎn)生機制可建模為

其中  為域d中的樣本索引的集合。進(jìn)而每張圖片域的產(chǎn)生機制可建模為

其中函數h可以由一個(gè)參數為  的卷積神經(jīng)網(wǎng)絡(luò )代表。故給定每個(gè)輸入樣本  后, 其偽標簽的 預測概率可表示為

故DARLING的對比損失函數可表示為

從直覺(jué)上講，一個(gè)負樣本對中的兩個(gè)樣本的“域相關(guān)”的特征越接近，網(wǎng)絡(luò )學(xué)習區分它們就會(huì )利用更多“域無(wú)關(guān)”的特征，所以由這種負樣本對產(chǎn)生的訓練損失權重應該較高；而反之當一個(gè)負樣本對中的兩個(gè)樣本“域相關(guān)”的特征區別足夠顯著(zhù)，則網(wǎng)絡(luò )更傾向于利用“域相關(guān)”的特征進(jìn)一步推遠它們在表征空間中的距離，而這不利于下游任務(wù)，所以這種負樣本對的損失權重應該降低。

DARLING利用一個(gè)子網(wǎng)絡(luò )學(xué)習負樣本對的域相似程度，并以之為其訓練損失加權。極端情況下，如果每個(gè)負樣本對中的兩個(gè)樣本都來(lái)自于同一個(gè)域，那么網(wǎng)絡(luò )只能使用“域無(wú)關(guān)”的特征將其區分，所以學(xué)到的特征就關(guān)注于物體類(lèi)別相關(guān)的特征。

另外，作為一個(gè)無(wú)監督預訓練方法，DARLING學(xué)到的參數可以作為模型初始化與現有所有DG算法融合而進(jìn)一步提升模型的泛化能力。

本文在PACS，DomainNet和CIFAR-C等數據集上驗證了UDG問(wèn)題的意義以及DARLING方法的有效性。

如表1所示，在DomainNet上，DARLING的表現優(yōu)于所有現有SOTA無(wú)監督/自監督學(xué)習算法，且當預訓練數據的類(lèi)別數量越高時(shí)，DARLING相對于其他方法的提升越明顯。

表2為DARLING與各SOTA算法在CIFAR-C上的結果，由于CIFAR-C中的域個(gè)數更多，所以我們可以使得預訓練數據，訓練數據和測試數據三者間不存在域重合且預訓練數據與測試數據不存在類(lèi)別重合，以完全避免預訓練中任何情況的域信息或類(lèi)別信息泄漏。DARLING在所有測試域上均超過(guò)了現有SOTA算法。

表3為DARLING與現有DG算法結合后在DomainNet上的結果，DARLING作為預訓練模型初始化可以顯著(zhù)提高現有DG算法的泛化能力。

圖4為DARLING與ImageNet預訓練的對比，當參與預訓練的數據中物體類(lèi)別超過(guò)100時(shí)DARLING的表現優(yōu)于ImageNet預訓練。請注意當物體類(lèi)別數量為100時(shí)用于DARLING預訓練的數據量和類(lèi)別數量只有ImageNet的1/10，且這些數據是沒(méi)有類(lèi)別標簽的。這充分說(shuō)明了使用ImageNet預訓練作為DG算法的初始化并非最好選擇，使用遠小于ImageNet數據量的UDG算法即可超越ImageNet預訓練的效果，這也為未來(lái)的UDG算法提供了基礎與展望的空間。

無(wú)監督域泛化 (UDG) 問(wèn)題不僅減輕了DG算法對有標簽數據的依賴(lài)，且僅使用少量無(wú)標簽數據 (1/10) 就可以達到與ImageNet 預訓練類(lèi)似的效果，這充分說(shuō)明ImageNet預訓練并非DG算法初始化的最優(yōu)選擇，且為未來(lái)研究預訓練方法對模型泛化能力的影響提供了啟發(fā)與基礎。

本文僅做學(xué)術(shù)分享，如有侵權，請聯(lián)系刪文。