西電NeurIPS 2022 | 基于結構聚類(lèi)的異質(zhì)圖自監督學(xué)習

論文作者：楊亞明，管子玉，王哲，趙偉，徐偲，陸維港，黃健斌

論文單位：西安電子科技大學(xué)，計算機科學(xué)與技術(shù)學(xué)院

現階段，圖（Graph）上的自監督學(xué)習大多都遵循圖對比學(xué)習框架，這些方法通常需要先構造一系列的正樣本對以及負樣本對，然后通過(guò)在低維表示空間中拉近正樣本并且推遠負樣本來(lái)學(xué)習節點(diǎn)/圖的表示。目前，研究者們已經(jīng)探索了節點(diǎn)丟棄、連邊擾動(dòng)等各種生成正樣本的策略，以及特征打亂、批次采樣等各種生成負樣本的策略。然而，已有研究工作表明，這些正、負樣本的生成策略是數據集敏感的。例如，GraphCL通過(guò)系統性的研究發(fā)現連邊擾動(dòng)對社交網(wǎng)絡(luò )比較有益，但是對生物化學(xué)網(wǎng)絡(luò )可能有負面作用。

InfoGCL發(fā)現負樣本對于更稀疏的圖可能更有益。因此，在實(shí)踐中，研究者們需要根據數據集以及手頭任務(wù)的實(shí)際情況來(lái)探索、尋找合適的構造正、負樣本的策略，這限制了已有方法的靈活性與泛化性。為了有效地應對這個(gè)問(wèn)題，在本項研究中，我們提出一個(gè)基于結構聚類(lèi)的異質(zhì)圖自監督學(xué)習方法SHGP，它無(wú)需任何正樣本或者負樣本。

圖1 模型整體架構圖。

我們的主要思路是通過(guò)對異質(zhì)圖執行結構聚類(lèi)來(lái)產(chǎn)生聚類(lèi)標簽，并利用聚類(lèi)標簽來(lái)監督異質(zhì)圖神經(jīng)網(wǎng)絡(luò )的訓練。如圖1中的模型架構圖所示，SHGP主要包括兩個(gè)模塊，Att-HGNN模塊可以被實(shí)現為任何基于注意力聚合機制的異質(zhì)圖神經(jīng)網(wǎng)絡(luò )（我們采用ie-HGCN模型，請參考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ），它的作用是計算節點(diǎn)的表示：

Att-LPA模塊將經(jīng)典的標簽傳播算法LPA以及Att-HGNN中的注意力聚合機制進(jìn)行了有機的結合，它的作用是在異質(zhì)圖上執行結構聚類(lèi)，并將得到的聚類(lèi)標簽當做偽標簽：

這兩個(gè)模塊共享相同的注意力聚合機制，即，Att-HGNN和Att-LPA在每一次前向過(guò)程中都執行相同的注意力聚合，區別是Att-HGNN聚合的是（投影后的）特征，而Att-LPA聚合的是上一輪產(chǎn)生的偽標簽，兩者都有著(zhù)完全相同的注意力聚合系數。我們在Att-HGNN的頂層構建一個(gè)softmax分類(lèi)器，并將節點(diǎn)表示輸入到其中來(lái)預測節點(diǎn)標簽。模型的損失為節點(diǎn)預測與節點(diǎn)偽標簽之間的交叉熵：

計算得到損失以后，我們利用梯度下降來(lái)優(yōu)化所有的模型參數：

隨著(zhù)優(yōu)化過(guò)程的進(jìn)行，模型會(huì )學(xué)習到越來(lái)越好的注意力分布（包括其他參數）。更好的注意力分布則會(huì )在下一輪迭代中促進(jìn)Att-HGNN和Att-LPA分別產(chǎn)生更好的節點(diǎn)嵌入（以及預測）和偽標簽，進(jìn)而促進(jìn)模型學(xué)習得到更好的參數。這樣，兩個(gè)模塊可以緊密地相互作用，并相互增強對方，最終使得模型學(xué)習得到具有判別性的節點(diǎn)表示。

我們對節點(diǎn)的預訓練表示進(jìn)行聚類(lèi)。在每個(gè)數據集上，我們利用

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。