原創(chuàng ) | 一文帶你速讀計算化學(xué)領(lǐng)域頂會(huì )論文

計算模擬和實(shí)驗研究是當今研究化學(xué)，生物學(xué)和材料科學(xué)的兩個(gè)重要手段。當前，以機器學(xué)習為代表的人工智能技術(shù)在科學(xué)計算領(lǐng)域潛力巨大，展示出旺盛的生命力和光明前景。本文解讀了機器學(xué)習在計算化學(xué)領(lǐng)域的最新研究，帶你速讀4篇相關(guān)領(lǐng)域的最新頂會(huì )論文。

1. 1. 論文題目：So3krates: Equivariant attention for interactions on arbitrary length-scales in molecular systems（NIPS 2022） 

鏈接：https://arxiv.org/pdf/2205.14276.pdf

機器學(xué)習方法在量子化學(xué)中的應用已經(jīng)使得許多傳統的原位方法無(wú)法計算的化學(xué)現象能夠被研究。由于機器學(xué)習力場(chǎng)往往關(guān)注局部原子的相互作用，這常常使得長(cháng)程相互作用被忽視。這篇文章引入球諧坐標系，以反映分子中每個(gè)原子的高階幾何信息，使得在歐式空間距離較遠卻存在長(cháng)程相互作用的原子在球諧空間得以反映。提出的模型SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡(luò ) - 將幾何信息與原子特征解耦，使它們能夠被獨立地被注意力機制處理。結果表明，SO3KRATES能夠描述任意長(cháng)度尺度上的非局部量子力學(xué)效應。而解耦機制的引入，使得該模型在不嚴重損失精度的前提下，可以得到更好地加速比。

圖1：SO3KRATES3 - 基于自我注意力的傳遞神經(jīng)網(wǎng)絡(luò ) - 將幾何信息與原子特征解耦以提高加速比

1. 2. 論文題目：EQUIFORMER: EQUIVARIANT GRAPH ATTENTION TRANSFORMER FOR 3D ATOMISTIC GRAPHS（ICLR 2023）

鏈接：https://arxiv.org/pdf/2206.11990.pdf

盡管Transformer網(wǎng)絡(luò )在各個(gè)領(lǐng)域取得了廣泛的成功，但在3D原子圖領(lǐng)域，如分子，即使考慮到3D相關(guān)的物理約束，如平移不變性和旋轉等變性（指的是分子的能量或者受力性質(zhì)不會(huì )隨著(zhù)他們的旋轉，平移等變化），它們仍然表現不佳。本文展示了Transformer可以很好地推廣到3D原子圖，并提出了Equiformer，一種利用Transformer網(wǎng)絡(luò )并結合基于不可約表示-等變圖神經(jīng)網(wǎng)絡(luò )。首先，我們通過(guò)僅將Transformer網(wǎng)絡(luò )原始操作替換為它們的等變操作，最小限度地修改Transformer網(wǎng)絡(luò )。其次，我們提出了一種新型的注意力機制，稱(chēng)為等效圖注意力。它通過(guò)用多層感知器注意力替換點(diǎn)積注意力并采用非線(xiàn)性消息傳遞來(lái)改進(jìn)傳統的Transformer。通過(guò)這兩個(gè)創(chuàng )新，Equiformer在QM9、MD17和OC20數據集上取得了比以前模型更具競爭力的結果。

圖2：Equiformer的網(wǎng)絡(luò )結構圖：它通過(guò)用多層感知器注意力替換點(diǎn)積注意力并采用非線(xiàn)性消息傳遞來(lái)改進(jìn)傳統的Transformer

1. 3. 論文題目：Uncertainty-driven dynamics for active learning of interatomic potentials（Nature Computational Science）

鏈接：https://www.nature.com/articles/s43588-023-00406-5

主動(dòng)學(xué)習（AL）是一種強大的工具，可迭代生成多樣化的數據集。

一般來(lái)說(shuō)可以采用委員會(huì )質(zhì)詢(xún)(query by committee ,QBC)策略和元動(dòng)力學(xué)方法QBC對不確定性的估計是集合內多個(gè)模型的不一致性。通常，一個(gè)組合中有多個(gè)神經(jīng)網(wǎng)絡(luò )，它們使用相同的結構和超參數，但在訓練之前使用不同的模型參數的初始隨機化以及不同的訓練/驗證數據分割。實(shí)驗觀(guān)察到，在集合預測的變異性與實(shí)際預測誤差之間有良好的相關(guān)性，這表明預測任務(wù)需要超出訓練數據范圍的外推。在QBC策略中，如果觀(guān)察到這種集合變異性很大，則訓練集將用新的模擬數據進(jìn)行擴充。

元動(dòng)力學(xué)是一種有效的勢能面探索方法，它基于集體變量(CVs)的概念。通過(guò)偏置勢的引入可以使分子在研究過(guò)程中遵循所選的集體變量路徑。通過(guò)對偏置勢的調整，可以獲得更好的勢能面信息，從而更準確地描述反應路徑。因此，在使用元動(dòng)力學(xué)方法進(jìn)行反應研究時(shí)，偏置勢經(jīng)常被使用，以提高計算的準確性和效率。然而，CV需要手動(dòng)選擇，而且它們的數量在實(shí)踐中是有限的。選擇合理的自由度來(lái)表示反應需要直覺(jué)，并且可能會(huì )導致錯誤。

在這里，作者開(kāi)發(fā)了一種策略，綜合上述方法的優(yōu)點(diǎn)以更快地發(fā)現有意義地擴充訓練數據集的構型。這種方法——基于不確定性的主動(dòng)學(xué)習動(dòng)力學(xué)（UDD-AL）——修改了用于分子動(dòng)力學(xué)模擬的勢能面，以支持配置空間中存在大的模型不確定性的區域。我們在兩個(gè)AL任務(wù)中展示了UDD-AL的性能：對甘氨酸構象空間進(jìn)行抽樣和對乙酰丙酮中質(zhì)子轉移的促進(jìn)進(jìn)行抽樣。該方法被證明能夠高效地探索化學(xué)構型空間，而這可能無(wú)法在普通動(dòng)態(tài)采樣下實(shí)現。

圖3：UDD-AL的工作流

1. 4. 論文題目：Equivariant Networks for Crystal Structures （NIPS 2022）

鏈接：https://arxiv.org/abs/2211.15420

使用深度模型進(jìn)行有監督學(xué)習在材料科學(xué)方面具有巨大的應用潛力。最近，圖神經(jīng)網(wǎng)絡(luò )在這一領(lǐng)域得到廣泛應用，直接從分子的模型中受到啟發(fā)。然而，材料通常比分子更具結構上對稱(chēng)性（晶體有230種空間群，分子只有32種點(diǎn)群），這是這些模型沒(méi)有利用的特征。在本文中，引入了一類(lèi)具有晶體對稱(chēng)群等變性的模型。通過(guò)定義一般化的消息傳遞操作來(lái)實(shí)現這一點(diǎn)，這些操作可以用于更一般的置換群，或者可以看作是在晶體圖上定義表達卷積的操作。經(jīng)驗上，這些模型在屬性預測任務(wù)上取得了與最先進(jìn)方法相當具有競爭性的結果。

以上四篇論文代表了人工智能在分子動(dòng)力學(xué)領(lǐng)域的最新進(jìn)展和研究方向，供在這一領(lǐng)域有深耕意向的讀者參考。