'機器學(xué)習元素周期表' 或許能推動(dòng)人工智能的發(fā)現

麻省理工學(xué)院的研究人員創(chuàng )建了一個(gè)周期表，展示了 20 多種經(jīng)典機器學(xué)習算法之間的聯(lián)系。這個(gè)新框架揭示了科學(xué)家如何融合不同方法的策略，以改進(jìn)現有的 AI 模型或提出新的模型。

例如，研究人員使用他們的框架結合了兩種不同算法的元素，創(chuàng )建了一種新的圖像分類(lèi)算法，其性能比當前最先進(jìn)的方法提高了8%。

這個(gè)周期表源于一個(gè)關(guān)鍵思想：所有這些算法學(xué)習的是數據點(diǎn)之間的一種特定關(guān)系。雖然每種算法可能以略微不同的方式完成這一點(diǎn)，但每種方法背后的核心數學(xué)是相同的。

基于這些見(jiàn)解，研究人員確定了一個(gè)統一方程，它構成了許多經(jīng)典 AI 算法的基礎。他們使用該方程重新構建了流行的方法，并將它們排列成一個(gè)表格，根據它們學(xué)習的近似關(guān)系對每種方法進(jìn)行分類(lèi)。

就像化學(xué)元素周期表最初包含空白方格并由科學(xué)家填補一樣，機器學(xué)習周期表也有空白之處。這些空白處預示著(zhù)算法應該存在但尚未被發(fā)現的地方。

該表為研究人員提供了一套工具，使他們能夠在無(wú)需重新發(fā)現先前方法中的想法的情況下設計新算法，這是麻省理工學(xué)院研究生、該論文的主要作者 Shaden Alshammari 說(shuō)的。

Alshammari 補充道：“這不僅僅是一個(gè)比喻。我們開(kāi)始將機器學(xué)習視為一個(gè)有結構的系統，一個(gè)我們可以探索的空間，而不是僅僅猜測著(zhù)前進(jìn)?！?/p>

她與論文合著(zhù)者 John Hershey（谷歌人工智能感知研究員）、麻省理工學(xué)院研究生 Axel Feldmann、電氣工程與計算機科學(xué)托馬斯和格爾德·皮爾金斯教授威廉·弗里曼（計算機科學(xué)與人工智能實(shí)驗室成員）以及資深作者 Mark Hamilton（麻省理工學(xué)院研究生和微軟高級工程經(jīng)理）共同撰寫(xiě)了這篇論文。該研究將在學(xué)習表示國際會(huì )議上發(fā)表。

一個(gè)意外的方程式

研究人員最初并沒(méi)有打算創(chuàng )建一個(gè)機器學(xué)習的元素周期表。

加入弗里曼實(shí)驗室后，阿爾沙馬里開(kāi)始研究聚類(lèi)，這是一種機器學(xué)習技術(shù)，通過(guò)學(xué)習將相似的圖像組織到附近的集群中來(lái)對圖像進(jìn)行分類(lèi)。

她意識到她正在研究的聚類(lèi)算法與另一種經(jīng)典的機器學(xué)習算法，稱(chēng)為對比學(xué)習，非常相似，并開(kāi)始深入研究數學(xué)。阿爾沙馬里發(fā)現這兩個(gè)不同的算法可以用同一個(gè)基本方程式重新表述。

"我們幾乎偶然地得到了這個(gè)統一方程。一旦 Shaden 發(fā)現它能連接兩種方法，我們就開(kāi)始夢(mèng)想將新的方法引入這個(gè)框架。我們嘗試的幾乎每一種方法都可以加入其中，"漢密爾頓說(shuō)。

他們創(chuàng )建的框架，信息對比學(xué)習（I-Con），展示了如何通過(guò)這個(gè)統一方程的視角來(lái)看待各種算法。它包括從可以檢測垃圾郵件的分類(lèi)算法到為 LLMs 提供動(dòng)力的深度學(xué)習算法。

該方程描述了這些算法如何找到真實(shí)數據點(diǎn)之間的連接，然后在內部近似這些連接。

每種算法都旨在最小化它所學(xué)習來(lái)近似連接與訓練數據中的真實(shí)連接之間的偏差。

他們決定將 I-Con 組織成一個(gè)周期表，根據點(diǎn)在真實(shí)數據集中的連接方式以及算法可以近似這些連接的主要方式來(lái)對算法進(jìn)行分類(lèi)。

"這項工作逐漸展開(kāi)，一旦我們確定了這個(gè)方程的總體結構，就更容易向我們的框架中添加更多方法了，Alshammari 說(shuō)。"

發(fā)現工具

當他們排列這張表時(shí)，研究人員開(kāi)始看到一些算法可以存在但尚未發(fā)明的空白。

"研究人員通過(guò)借鑒一種名為對比學(xué)習的機器學(xué)習技術(shù)，并將其應用于圖像聚類(lèi)，填補了一個(gè)空白。這產(chǎn)生了一種新算法，該算法在分類(lèi)未標記圖像方面比另一種最先進(jìn)的方法提高了 8%。

他們還使用 I-Con 展示了如何將針對對比學(xué)習開(kāi)發(fā)的數據去偏技術(shù)用于提高聚類(lèi)算法的準確性。

此外，靈活的周期表允許研究人員添加新的行和列來(lái)表示額外的數據點(diǎn)連接類(lèi)型。

最終，將 I-Con 作為指南可以幫助機器學(xué)習科學(xué)家跳出思維定式，鼓勵他們將想法以他們原本可能不會(huì )想到的方式結合起來(lái)，漢密爾頓說(shuō)。

“我們已經(jīng)證明，僅僅一個(gè)非常優(yōu)雅的方程式，植根于信息科學(xué)，就能給你跨越100年機器學(xué)習研究的豐富算法。這為發(fā)現開(kāi)辟了許多新的途徑，”他補充道。

這項研究得到了空軍人工智能加速器、國家科學(xué)基金會(huì )人工智能與基礎相互作用研究所和量子計算機的部分資助。