上海交通大學(xué)王宇光：幾何深度學(xué)習和圖神經(jīng)網(wǎng)絡(luò )的研究進(jìn)展和趨勢

3 月 23 日，在機器之心 AI 科技年會(huì )上，上海交通大學(xué)自然科學(xué)研究院和數學(xué)科學(xué)學(xué)院副教授、上海人工智能實(shí)驗室成員王宇光老師發(fā)表了主題演講《幾何深度學(xué)習和圖神經(jīng)網(wǎng)絡(luò )的研究進(jìn)展和趨勢》。

演講視頻地址（點(diǎn)擊「閱讀原文」也可觀(guān)看）：https://www.bilibili.com/video/BV1Yr4y1q7c1?spm_id_from=333.999.0.0

以下為王宇光在機器之心 AI 科技年會(huì )上的演講內容，機器之心進(jìn)行了不改變原意的編輯、整理：

大家下午好，我是上海交大自然科學(xué)研究院的王宇光。今天主要給大家介紹一下幾何深度學(xué)習和圖神經(jīng)網(wǎng)絡(luò )的研究進(jìn)展，以及未來(lái)的技術(shù)趨勢。

我們知道幾何深度學(xué)習是用于處理不同對象的深度神經(jīng)網(wǎng)絡(luò )，其結構和傳統 CNN 相似，只是處理的對象發(fā)生了變化。

傳統 CNN 處理的可能是圖片數據，在數學(xué)上是由格點(diǎn)像素值組成的平面 2D 數據，如果有多個(gè) channel 則可能是張量數據，但往往不考慮像素之間的相互關(guān)系，不考慮各個(gè)格點(diǎn)之間的相互連接。而幾何深度學(xué)習的重要數據對象是圖結構數據或者更廣義的 3D 點(diǎn)云數據等，結構數據區別于原始圖片數據的一個(gè)重要特點(diǎn)是不僅有節點(diǎn)（節點(diǎn)對應原來(lái)圖片的像素），還有節點(diǎn)之間的相互連接。以經(jīng)典的圖結構——分子數據結構為例，分子由原子構成，原子可以看作圖的節點(diǎn)，原子之間的化學(xué)鍵可以看作圖中邊的權值，這就構成了圖結構數據。這種數據結構廣泛存在于應用中，圖結構數據比圖片數據多考慮了節點(diǎn)之間的連接。

對于圖分類(lèi)問(wèn)題或回歸問(wèn)題，各個(gè)樣本的尺寸和結構可能是不盡相同的，這就導致傳統 CNN 方法不適用于新型圖結構數據的學(xué)習、預測任務(wù)。

幾何深度學(xué)習實(shí)際上是這幾年才發(fā)展起來(lái)的，特別是從 2021 年開(kāi)始大家才廣泛關(guān)注幾何深度學(xué)習和圖神經(jīng)網(wǎng)絡(luò )，因為 2021 年 AlphaFold 實(shí)現了對蛋白質(zhì)結構的準確預測，準確率可以達到 95% 以上。這樣高精度而且非?？焖俚念A測工具，是基于一些幾何深度學(xué)習的模塊。這項工作被 Science 評為 2021 年十大科學(xué)進(jìn)展之最。圖神經(jīng)網(wǎng)絡(luò )廣泛應用于其他領(lǐng)域，例如它對一些數學(xué)定理的證明或發(fā)現起到了很好的作用，特別是去年發(fā)表在 Nature 上的一個(gè)用 GNN 輔助科學(xué)證明的算法，由 DeepMind 與幾位科學(xué)家合作完成，引起了數學(xué)圈很大的轟動(dòng)。

深度學(xué)習理論，特別是關(guān)于幾何深度學(xué)習和圖神經(jīng)網(wǎng)絡(luò )的理論，和傳統深度學(xué)習理論比較類(lèi)似，研究重點(diǎn)主要包括以下幾個(gè)方面：

深度學(xué)習的表達能力，涉及到很多的數學(xué)理論，當然也可能涉及一些物理的解釋?zhuān)?/span>

例如，學(xué)習理論、調和分析、統計學(xué)對于研究深度學(xué)習的泛化能力非常重要；

深度學(xué)習主要依賴(lài)于反向傳播算法，所以最優(yōu)化理論也是一個(gè)重要的研究工具；

一些特別有效的算法的設計基本原理，也依賴(lài)于諸多數學(xué)理論。

圖神經(jīng)網(wǎng)絡(luò )是幾何深度學(xué)習的一部分，研究具有結構屬性、拓撲性質(zhì)的數據的學(xué)習和預測任務(wù)。圖神經(jīng)網(wǎng)絡(luò )的每一個(gè)特征提取層都會(huì )對節點(diǎn)的特征和連接的特征進(jìn)行更新，這種更新模式被叫作消息傳遞模式。

消息傳遞模式指的是要更新某一個(gè)點(diǎn)的特征，需要考慮周邊和它相連的點(diǎn)的特征，這里就要用到推進(jìn)函數。推進(jìn)函數通常是由一個(gè)網(wǎng)絡(luò )對節點(diǎn)和周邊節點(diǎn)關(guān)系的刻畫(huà)。然后用另一個(gè)網(wǎng)絡(luò )整合周邊節點(diǎn)信息，接著(zhù)加和到這個(gè)節點(diǎn)本身的特征中，這兩步更新模式就構成了一個(gè)基本的消息傳遞模式。

圖神經(jīng)網(wǎng)絡(luò )特征提取模塊可以寫(xiě)成圖卷積的模式，與傳統的 CNN 卷積類(lèi)似，只不過(guò)在圖上定義卷積不如 CNN 直觀(guān)，不能用空間域窗口的方式平移得到，但是可以仿照傅里葉卷積的模式，定義圖卷積的模塊。這種卷積被證明和傳統 CNN 具有相似的特征提取功能，共享了參數，并保持了重要的圖結構性質(zhì)，從而在圖神經(jīng)網(wǎng)絡(luò )的學(xué)習中起到了很好的特征提取作用。其中一個(gè)很重要的模塊是由譜圖神經(jīng)網(wǎng)絡(luò )衍生出來(lái)的經(jīng)典 GCN 模型，如果寫(xiě)成譜圖的形式就是 Laplacian 正則化的過(guò)程。

如果我們想設計更好的，具有更強的魯棒性或者更好抗噪能力的 GNN，可以在正則化中再做一個(gè)更新，比如說(shuō)引入一些小波變換、L1 正則等。事實(shí)上人們設計了一些具有多尺度多層分析能力的圖卷積模塊，并且引入了 Shrinkage 技術(shù)等對信號進(jìn)行過(guò)濾、對數據進(jìn)行壓縮，這些在實(shí)踐中都得到了比較好的驗證。

但圖神經(jīng)網(wǎng)絡(luò )有時(shí)候還不夠用，因為隨著(zhù)任務(wù)的復雜，特別是涉及復雜系統、海量數據的研究或者高階任務(wù)的預測（例如軌跡預測等新型任務(wù)），傳統的圖神經(jīng)網(wǎng)絡(luò )還不夠。

人們又考慮是不是能夠在圖學(xué)習中利用更多的拓撲信息或結構信息，因此就導出了一種超越神經(jīng)網(wǎng)絡(luò )的單純復形網(wǎng)絡(luò )的消息傳遞模式，主要克服了圖神經(jīng)網(wǎng)絡(luò )的三個(gè)缺陷。第一是圖神經(jīng)網(wǎng)絡(luò )在建模多個(gè)節點(diǎn)相互作用的時(shí)候并沒(méi)有那么有效；第二是在檢測高階結構（比如二階拓撲結構）時(shí)，圖神經(jīng)網(wǎng)絡(luò )由于只考慮了關(guān)系，即連接節點(diǎn)的邊而并沒(méi)有考慮環(huán)或者面的信息和特征，因此 GNN 不能完成高階任務(wù)；第三是不能有效地處理高階信號，例如預測從某一點(diǎn)到另一點(diǎn)的軌跡信息。

單純復形網(wǎng)絡(luò )和傳統的消息傳遞模式很類(lèi)似，只不過(guò)在傳遞的過(guò)程中不僅考慮了兩個(gè)節點(diǎn)之間邊的連接，還考慮了高階結構（比如三角形或多邊形）中的拓撲結構。把這些加入到消息傳遞模式中，就形成了單純復形消息傳遞模式。

這樣的模式可以更好地完成一些復雜任務(wù)，而且事實(shí)證明它們的表達能力比傳統的圖神經(jīng)網(wǎng)絡(luò )更強。在一些特殊任務(wù)（例如軌跡預測任務(wù)）上，同等條件下比圖神經(jīng)網(wǎng)絡(luò )的效果好很多。

關(guān)于未來(lái)的趨勢有很多個(gè)角度可以講，這里稍微列幾個(gè)大家可能感興趣或者比較重要的方向。

首先，圖神經(jīng)網(wǎng)絡(luò )原來(lái)是一個(gè)圖結構數據，是一種離散化的結構，但是數學(xué)工具往往是坐落在連續空間上的，所以近來(lái)大家考慮將微分幾何的一些方法引入到 GNN 中，包括新型等變 GNN 的架構，利用對稱(chēng)性等工具，以更好地理解和利用深度學(xué)習模型中圖結構性質(zhì)的不確定性。

這里有一些值得關(guān)注的點(diǎn)，包括利用對稱(chēng)性形成更有效的學(xué)習模型；應用最優(yōu)傳輸的思想；在表示學(xué)習中使用微分幾何的一些概念，特別是人們對理解關(guān)系數據的幾何，并利用這些見(jiàn)解學(xué)習歐氏幾何或非歐幾何的表示有很濃厚的興趣。由此產(chǎn)生了許多采用特定幾何進(jìn)行編碼的架構，比如一種利用雙曲幾何的 GNN 模型，由 2019 年首次引入，最近又有了新的進(jìn)展。此外，過(guò)去一年里提出了大量涉及雙曲幾何的新型模型和架構，以捕獲更復雜的圖數據中的結構特征。另一個(gè)思路則是利用等方差或者對稱(chēng)形式的幾何信息構建圖神經(jīng)網(wǎng)絡(luò )。

離散微分幾何也被用于深入了解圖神經(jīng)網(wǎng)絡(luò )的設計和解釋?zhuān)实碾x散概念可以表征離散結構的局部和全局的幾何特性。圖神經(jīng)網(wǎng)絡(luò )往往會(huì )有過(guò)度擠壓的效應，因為節點(diǎn)之間有相互連接所以信息傳遞比普通的 CNN 要快。最近一些專(zhuān)家提出了一些基于曲率的圖學(xué)習解釋方法，用曲率刻畫(huà)過(guò)度擠壓的效率，這在圖神經(jīng)網(wǎng)絡(luò )中是非常重要的任務(wù)。另外，有研究利用里奇曲率提出了一種減輕圖神經(jīng)網(wǎng)絡(luò )擠壓效應的新方法。未來(lái)，離散曲率可能會(huì )和圖機器學(xué)習中的其他結構或拓撲問(wèn)題相關(guān)聯(lián)，這個(gè)課題也將繼續影響該領(lǐng)域，并進(jìn)入更多應用領(lǐng)域。

這些改進(jìn)有望推動(dòng)計算方面的進(jìn)步。由于借鑒傳統的歐氏空間數據的表示學(xué)習思路來(lái)降低非歐空間的算法復雜度。例如，采用離散曲率幾何工具的計算成本往往是很高的，難以將它們集成到大規模的應用程序之中。因此，人們將提出一些先進(jìn)的計算方法和專(zhuān)業(yè)化的軟件包來(lái)使這種幾何思想更容易為從業(yè)者所接受。

上述消息傳遞模式將成為一種主要范式。2021 年的時(shí)候牛津大學(xué) (University of Oxford) 的 Michael Bronstein 預測說(shuō)圖機器學(xué)習進(jìn)步需要脫離來(lái)自于 2020 年以及之前主導該領(lǐng)域消息傳遞的思路。不過(guò)在 2021 年的時(shí)候，這個(gè)預言只實(shí)現了一部分，在接下來(lái)的研究中預計會(huì )進(jìn)一步發(fā)展。其中有一種思路是消息傳遞模式可以引入子圖神經(jīng)網(wǎng)絡(luò )，子圖結構能夠對特征進(jìn)行更有效的刻畫(huà)，子圖神經(jīng)網(wǎng)絡(luò )有望突破限制。該方法的思路是將圖表示成子結構的集合，這個(gè)想法可以追溯到 1960 年代的圖重構猜想，現在圖神經(jīng)網(wǎng)絡(luò )將讓它重新煥發(fā)生機，學(xué)者們認為子圖 GNN 和相應的重構猜想會(huì )是未來(lái)一個(gè)主要的研究方向。

2021 年以來(lái)還有一個(gè)新的趨勢是將微分方程引入神經(jīng)網(wǎng)絡(luò )。2021 年有研究通過(guò)物理系統的動(dòng)力學(xué)重新設計圖學(xué)習模型，其中的動(dòng)力學(xué)往往由微分方程來(lái)表達。另外，圖神經(jīng)網(wǎng)絡(luò )還可以與微分方程的求解方式相結合，偏微分方程可以對圖上信息的傳播進(jìn)行建模，很多標準的圖神經(jīng)網(wǎng)絡(luò )架構可以看作是求解微分方程的數值迭代解，這個(gè)和 2019 年 NeurlPS 上的最佳論文 Neural ODE 的思想很像，將偏微分方程用于圖形網(wǎng)絡(luò )可能會(huì )產(chǎn)生一些新的突破。

這種對連續對象離散化的方法帶來(lái)了令人耳目一新的效果，讓圖神經(jīng)網(wǎng)絡(luò )能夠為下游機器學(xué)習任務(wù)提取更有益的信息，并將焦點(diǎn)從支持一種信息轉移到支持圖結構信號計算的模式上。特別是 2022 年使用圖作為一種機制來(lái)執行本地化的連貫計算將成為一種新的趨勢，這種新想法在數據集上會(huì )交換有關(guān)的數據信息，并將其用作數據的整體屬性歸零的機制，這是一條有益的途徑。

圖神經(jīng)網(wǎng)絡(luò )還受到信號處理、神經(jīng)科學(xué)、物理學(xué)思想的啟發(fā)，獲得了新的靈感。很多人認為圖信號處理將重新點(diǎn)燃人們對圖機器學(xué)習的興趣，并提供一套數學(xué)工具，比如廣義傅里葉變換，即圖上的傅里葉變換，或圖上的小波變換等。經(jīng)典的信號處理和物理學(xué)所依賴(lài)的基本技術(shù)（比如表示論），在圖神經(jīng)網(wǎng)絡(luò )上的應用已經(jīng)于 2021 年取得了一些重要進(jìn)展，并且仍有很多開(kāi)發(fā)空間。經(jīng)典的線(xiàn)性變換、傅里葉變換、小波變換的吸引人之處在于提供了一種具有數學(xué)屬性的通用隱式空間 (latent space) 和完備的數據表示，比如平滑信號具有低頻傅里葉系數，而分段平滑信號具有稀疏和局部的小波系數。過(guò)去有構建線(xiàn)性變換來(lái)揭示信號特性的傳統，特別是有些物理學(xué)家在設計基于群作用下的不同對稱(chēng)性的等變變換方面，會(huì )采用仿射群的連續小波變換等，這些技術(shù)都有可能用到圖機器學(xué)習或幾何深度學(xué)習里。

并且有研究人員預計構建結構化的潛在空間的趨勢將在 2022 年繼續得到發(fā)展，部分是由于應用程序的需求，但也出于交換適應性和可解釋性的普遍愿望。例如結構化變換域不是自適應的，但是非常容易讀取，而圖神經(jīng)網(wǎng)絡(luò )將有助于實(shí)現兩者的平衡?？偟膩?lái)說(shuō)，受信號處理和神經(jīng)科學(xué)啟發(fā)的圖神經(jīng)網(wǎng)絡(luò )將越來(lái)越具有市場(chǎng)，也將有越來(lái)越多樣化的應用（例如基于海量數據的交通預測、智慧城市建設），模擬復雜的物理動(dòng)力學(xué)以及神經(jīng)數學(xué)分析等方面將會(huì )起到重要的作用。

在研究更復雜的任務(wù)時(shí)，例如先前提到的復雜系統建模，可能需要更高階的拓撲信息來(lái)進(jìn)行模型的訓練，甚至需要超越圖神經(jīng)網(wǎng)絡(luò )。復雜系統的應用也很廣，2021 年的物理諾獎頒給了以復雜系統成名的喬治 · 帕里西 (Giorgio Parisi)，以表彰他在這方面的研究突破。雖然在基本抽象的層面上，復雜系統通?？梢悦枋鰹閳D（graph），但必須考慮更為復雜的結構，例如非成對關(guān)系和一些動(dòng)態(tài)行為。2021 年的很多工作都涉及到動(dòng)態(tài)圖和動(dòng)態(tài)關(guān)系系統的預測，并展示了如何將圖神經(jīng)網(wǎng)絡(luò )拓展到高階結構。

2021 年，單純復形的消息傳遞模式解決了圖神經(jīng)網(wǎng)絡(luò )的許多限制，例如檢測某些子結構，捕獲遠程和高階交互，處理高階特征和轉譯 WL 層次的結構。實(shí)踐中，在分子屬性的預測問(wèn)題以及軌跡追蹤問(wèn)題中都取得了很好的結果。我預計這些方法將在 2022 年擴展為更為激動(dòng)人心的新應用，比如用于計算大數據拓撲，關(guān)系預測和計算機通信學(xué)領(lǐng)域的難題中。

動(dòng)態(tài)圖也有很多實(shí)際的應用，例如新冠傳播預測，交通預測，軌跡建模，這些應用往往需要捕獲高度結構化的時(shí)序數據的復雜動(dòng)態(tài)效應。圖機器學(xué)習提供了捕獲空間依賴(lài)性，時(shí)間序列之間的交互以及動(dòng)態(tài)相關(guān)性的能力，在接下來(lái)的研究中應該能夠看到時(shí)序數據和動(dòng)態(tài)系統結合的想法被用于圖神經(jīng)網(wǎng)絡(luò )中，也希望這些想法能夠產(chǎn)生新的模型設計、訓練方法以及對復雜動(dòng)力機制的嚴格解釋。

另外，推理、公理、泛化在圖機器學(xué)習中會(huì )是比較大的問(wèn)題。2021 年，由 DeepMind 做出的基于算法推理的圖神經(jīng)網(wǎng)絡(luò )，能夠用于解決一些數學(xué)猜想和定理。他們開(kāi)發(fā)與廣義貝爾曼 - 福德 (Bellman-Ford) 算法一致的知識圖譜推理器，從而利用分布變化顯示因果模型來(lái)設計圖神經(jīng)網(wǎng)絡(luò )，這個(gè)方向具有很好的前景，而且通用性很強，可以為 GNN 開(kāi)辟未來(lái)，我覺(jué)得 2022 年可能會(huì )有一些比較好的探索。

圖神經(jīng)網(wǎng)絡(luò )還有可能和強化學(xué)習結合，強化學(xué)習是當今人工智能研究中比較突出和活躍的領(lǐng)域之一，通常強化學(xué)習中的 agent 或環(huán)境表示中都會(huì )出現圖結構和對稱(chēng)性。2021 年有兩個(gè)比較相關(guān)的重要進(jìn)展，一個(gè)是利用基于注意力機制的圖表示來(lái)建立強化學(xué)習的基準，以提高模型的泛化和遷移能力，這方面已經(jīng)應用到連續控制、多智能體強化學(xué)習和機器人協(xié)同作業(yè)的復雜任務(wù)中。另一個(gè)方面，強化學(xué)習的應用已經(jīng)擴展到具有基于圖的狀態(tài)和動(dòng)態(tài)空間的環(huán)境場(chǎng)景下，在電網(wǎng)控制、組合優(yōu)化，以及在圖論中尋找反例和解決猜想中都起到了很大的作用。

圖可能是將強化學(xué)習帶入現實(shí)世界的一個(gè)關(guān)鍵技術(shù)，在芯片設計、代碼建模、****物發(fā)現、AI for science 的科學(xué)應用、經(jīng)濟學(xué)等諸多領(lǐng)域都是無(wú)所不在的。2022 年可能會(huì )見(jiàn)證基于強化學(xué)習的基準和圖結合的寒武紀爆發(fā)，這將引領(lǐng)強化學(xué)習研究朝著(zhù)應用的方向發(fā)展，并會(huì )啟發(fā)很多基礎研究。我期望 2022 年基于 Transformer 和類(lèi)似的圖注意力機制網(wǎng)絡(luò )的方法，能夠與強化學(xué)習結合。在不久的將來(lái)，圖網(wǎng)絡(luò )等方差、強化學(xué)習的組合優(yōu)化等方面也會(huì )有很大的突破，并將在分子設計、網(wǎng)絡(luò )規劃、芯片設計等領(lǐng)域有廣泛應用。

特別地，圖神經(jīng)網(wǎng)絡(luò )廣泛用于****物的發(fā)現和設計，并且已從圖神經(jīng)網(wǎng)絡(luò )和 Transformer 的融合中獲益不少。GNN 的起源也是來(lái)自于計算化學(xué)的研究，分子圖的分析是 GNN 最流行的應用之一。2021 年該領(lǐng)域持續取得了非常重大的進(jìn)展，并涌現出數十種新型網(wǎng)絡(luò )結構和多項基準測試結果?；趫D的 Transformer 也倍受矚目，繼承了這些結構在 NLP 中的優(yōu)點(diǎn)。GNN 和 Transformer 相結合應用到****物研發(fā)或其他分子預測任務(wù)中，能夠起到跨任務(wù)、加強泛化能力的作用。

人工智能驅動(dòng)的****物發(fā)現也越來(lái)越多地使用幾何和圖神經(jīng)網(wǎng)絡(luò )的學(xué)習，AlphaFold 和分子圖神經(jīng)網(wǎng)絡(luò )的成果讓我們離 AI 設計新****的夢(mèng)想更近了一步，特別是 Alphabet 新子公司 Isomorphic Labs 的成立表明了業(yè)界對這項技術(shù)寄予厚望。其中，利用 AI 模 擬分子的相互作用成為實(shí)現這些目標而必須跨越的重要前沿課題。這可能是未來(lái)的一個(gè)趨勢，因為現在只能預測分子的一些固定結構，不能很好預測分子之間的相互作用，或者是多個(gè)粒子之間的相互作用。另外，基于細胞圖（cell graph）的 GNN 在軟物質(zhì)（或凝聚態(tài)物理）研究中的應用將進(jìn)一步發(fā)展。

最后，我簡(jiǎn)單介紹一下圖神經(jīng)網(wǎng)絡(luò )與量子機器學(xué)習的結合。量子機器學(xué)習對領(lǐng)域內大多數研究者來(lái)說(shuō)仍是一個(gè)奇特的設想，但隨著(zhù)量子計算硬件的出現，它已經(jīng)迅速成為可能的現實(shí)。最近，Alphabet X 公司展示了量子機器學(xué)習架構中圖結構歸納偏差的優(yōu)勢。2022 年，擴展圖量子機器學(xué)習將是一個(gè)激動(dòng)人心的研究方向，將探索圖之外的幾何深度學(xué)習理論的量子版本。量子物理系統通常具有豐富的群對稱(chēng)性，這些對稱(chēng)性已被廣泛地納入到幾何深度學(xué)習的研究中。這些群對稱(chēng)性也可用于量子架構的設計，從而進(jìn)一步提高我們使用量子計算機對此類(lèi)系統進(jìn)行生成建模的能力。

我今天的介紹就到這里，謝謝大家。