給GNN一堆數據，它自己發(fā)現了萬(wàn)有引力定律

如果牛頓沒(méi)被蘋(píng)果砸中，GNN 和符號回歸也能發(fā)現萬(wàn)有引力定律？

機器學(xué)習 (ML) 推動(dòng)了科學(xué)的巨大進(jìn)步，從粒子物理學(xué)到結構生物學(xué)再到宇宙學(xué)，機器學(xué)習能夠在大型數據集中學(xué)習特征，對不同的對象進(jìn)行分類(lèi)，并執行參數推斷，以及更具開(kāi)創(chuàng )性的應用，例如自回歸語(yǔ)言模型、預測蛋白質(zhì)結構，以及蛋白質(zhì)功能預測。
機器學(xué)習強大的學(xué)習能力，我們不禁會(huì )問(wèn)，機器學(xué)習能否僅僅通過(guò)觀(guān)察我們的太陽(yáng)系來(lái)重新發(fā)現萬(wàn)有引力定律？
牛頓的萬(wàn)有引力定律指出，兩個(gè)質(zhì)點(diǎn)彼此之間相互吸引的作用力，是與它們的質(zhì)量乘積成正比，并與它們之間的距離成平方反比。它是經(jīng)典力學(xué)的一部分，是在 1687 年于《自然哲學(xué)的數學(xué)原理》中首次發(fā)表的，并于 1687 年 7 月 5 日首次出版。

近日來(lái)自薩塞克斯大學(xué)、倫敦大學(xué)學(xué)院等機構的研究者在論文《 Rediscovering orbital mechanics with machine learning 》中對上述問(wèn)題進(jìn)行的解答，他們的回答是：可以。

論文作者之一 Miles Cranmer 推特截圖
具體而言，該研究提出了一種采用機器學(xué)習方法，通過(guò)觀(guān)察自動(dòng)發(fā)現實(shí)際物理系統的控制方程和隱藏屬性。研究者訓練了一個(gè)圖神經(jīng)網(wǎng)絡(luò )，通過(guò) 30 年的軌跡數據來(lái)模擬太陽(yáng)系的太陽(yáng)、行星和大型衛星的動(dòng)力學(xué)。然后，他們使用符號回歸來(lái)發(fā)現神經(jīng)網(wǎng)絡(luò )隱式學(xué)習的力學(xué)定律解析表達式，結果表明表達式等效于牛頓萬(wàn)有引力定律。

論文地址：https://arxiv.org/pdf/2202.02306.pdf
該研究分為兩個(gè)階段：第一階段的學(xué)習模擬器基于圖網(wǎng)絡(luò ) (GN)，圖網(wǎng)絡(luò )是一種深度神經(jīng)網(wǎng)絡(luò )，可以通過(guò)訓練來(lái)逼近圖上的復雜函數。在這里，太陽(yáng)系的太陽(yáng)、行星和衛星的（相對）位置和速度被表示為輸入圖的節點(diǎn)，而天體之間可能的物理交互（例如力）被表示為圖的邊。該研究將基于 GN 的模擬器與 30 年來(lái)觀(guān)測到的太陽(yáng)系軌跡進(jìn)行了擬合。
在第二階段，該研究分離邊函數（edge function），并應用符號回歸擬合邊函數的解析公式，其最好的擬合是對牛頓萬(wàn)有引力定律的擬合。然后，該研究使用已發(fā)現的方程重新擬合未觀(guān)察到的（相對）天體質(zhì)量，并找到了與天體真實(shí)質(zhì)量幾乎完美的擬合。之后研究者可以使用發(fā)現的方程和重新學(xué)習的質(zhì)量來(lái)模擬太陽(yáng)系動(dòng)力學(xué)，并獲得與真實(shí)觀(guān)察到的軌跡非常接近的對應關(guān)系。
下圖為太陽(yáng)、水星、金星、地球和火星的示意圖，以及學(xué)習模擬器使用的相應圖結構。圖的節點(diǎn)代表天體，邊的亮度與它們之間的引力相互作用的強度成正比。 

數據與模型
數據：符號回歸研究歷來(lái)都專(zhuān)注于玩具（toy）模擬，但是現實(shí)世界的數據充滿(mǎn)了混亂，包括噪音、信息丟失、未知的物理常數等。因此該研究直接從對太陽(yáng)系的觀(guān)察中重新發(fā)現軌道力學(xué)。
該研究基于 NASA Horizons 的星歷表 （Ephemeris）數據開(kāi)發(fā)了一個(gè)訓練數據集，數據集包括太陽(yáng)系中質(zhì)量超過(guò) 10^18 kg 的 31 個(gè)天體：太陽(yáng)、行星、冥王星和一系列衛星。訓練數據來(lái)自 1980 年到 2010 年的 30 年期間的數據，驗證集來(lái)自 2010-2013 年的數據。
模型：模型是基于 Battaglia 等人在 2018 年提出的交互網(wǎng)絡(luò )（Interaction Network）的圖神經(jīng)網(wǎng)絡(luò ) (GNN)。GNN 非常適合物理數據集：它們通過(guò)消息傳遞顯式地處理對象（節點(diǎn)）之間的交互，并允許研究者輕松地將對稱(chēng)（如置換、平移和旋轉等）嵌入到網(wǎng)絡(luò )中。
GNN 的唯一輸入是天體在給定時(shí)刻的位置和速度，以及學(xué)習參數。通過(guò)訓練 GNN 來(lái)預測每個(gè)天體的加速度，模擬系統的動(dòng)力學(xué)，以及天體的質(zhì)量。

蒸餾符號規則
接下來(lái)，研究者希望找出 GNN 實(shí)際學(xué)會(huì )了哪些規則來(lái)預測這些動(dòng)態(tài)。將模型壓縮為一組符號規則也可以提高泛化能力。
為此，該研究使用符號回歸擬合 GNN 消息傳遞模塊的輸入和輸出。符號回歸是一種機器學(xué)習算法，可搜索數百萬(wàn)個(gè)符號表達式以擬合數據。該研究使用 PySR 算法 (Cranmer, 2022) 來(lái)完成這項任務(wù)，其中用到了一種進(jìn)化算法。
下圖是從已經(jīng)過(guò)學(xué)習的模擬器中發(fā)現的符號表達式，從中可以發(fā)現所有情況下輸出變量都是 F_x，

更復雜的表達式能更準確地逼近 GNN 的內部函數。然而，人們總是可以在一個(gè)簡(jiǎn)單的表達式中添加其他項來(lái)提高它的準確性，所以簡(jiǎn)單性和準確性是可以權衡的。該研究使用與 Cranmer 等人 (2020) 相同的分數，成功地模擬了牛頓的萬(wàn)有引力定律（如上圖藍綠色所示）。
然后研究者把這個(gè)已模擬的規律，放回 GNN 的消息傳遞模塊中，得到的模擬效果如下：

顯然，性能變好了一些，但仍然不完美，為什么？
為了解決這個(gè)問(wèn)題，研究者首先比較了每個(gè)天體的算法估計質(zhì)量與真實(shí)質(zhì)量（歸一化到太陽(yáng)的質(zhì)量范圍內）：

與每個(gè)天體的真實(shí)質(zhì)量相比，模型估計的質(zhì)量偏差很大，有時(shí)甚至相差幾個(gè)數量級。
雖然 GNN 中的消息傳遞函數能夠很好地近似牛頓萬(wàn)有引力定律，但并不能完全精準地擬合。神經(jīng)網(wǎng)絡(luò )可以高度學(xué)習非線(xiàn)性函數，但這些質(zhì)量參數可能對 GNN 來(lái)說(shuō)是良好輸入，卻不是 GNN 符號版本的最佳輸入。
因此，該研究決定通過(guò)固定的符號表達式重新擬合質(zhì)量參數，這種改進(jìn)確實(shí)產(chǎn)生了更好的效果：

此時(shí)，模型重新估計的天體質(zhì)量和真實(shí)質(zhì)量的比較結果如下圖所示：

改進(jìn)之后，模型估計的天體質(zhì)量幾乎完全匹配真實(shí)質(zhì)量。為了解釋這一點(diǎn)，研究者認為需要做的是證明該算法的有效性。
我們知道，天體的質(zhì)量只影響它對其他天體的引力，例如如果地球變成兩倍大，月球軌道會(huì )受到很大影響，但地球環(huán)繞太陽(yáng)的軌道會(huì )保持不變。對于像 Phoebe、Hyperion 和 Nereid 這樣的天體，由于它們是非常小的衛星，對其他天體軌跡的影響可以忽略不計。因此，只要它們的質(zhì)量很小就不會(huì )以任何方式影響系統。為了證實(shí)這一理論，研究者估計了每個(gè)天體對其他天體的引力影響，并聯(lián)合質(zhì)量估計的誤差作圖。

從上圖可以發(fā)現，兩者之間存在明顯的負相關(guān)，這意味著(zhù)一個(gè)天體對其他天體的引力影響越小，質(zhì)量估計的效果就越差。這也就解釋了該算法如何一步步地成功學(xué)習了萬(wàn)有引力定律和預估天體質(zhì)量。
原文鏈接：https://astroautomata.com/paper/rediscovering-gravity/