低功耗生成式AI必然會(huì )出現

5月12日我們在朋友圈里發(fā)表了“論中美在人工智能領(lǐng)域的差距”的評論中我們首次提出目前以Transformer算法為核心的自然語(yǔ)言處理的生成式AI，在取得突破性的應用成果的同時(shí)，由于Transformer算法沒(méi)有擺脫人工神經(jīng)網(wǎng)絡(luò )的圖靈機不可解的NP問(wèn)題的綁架，因此超大模型的計算引起了能源的危機的社會(huì )的熱議。針對注意力機制的計算，巨大的矩陣乘法不是唯一的解，因此可以通過(guò)邏輯推理模型可以線(xiàn)性的求解，通過(guò)低能耗就可實(shí)現目前的生成式AI的應用效果。

果不其然來(lái)自加州大學(xué)圣克魯茲分校等機構的研究者證明了 “MatMul 操作可以完全從 LLM 中消除，同時(shí)在十億參數尺度下保持強大的性能?！?/p>

這給還在追求大模型的生成式AI的研究者一個(gè)啟示，不能盲目的照抄，跟隨的結果只能證明自己的愚昧！要有敢于同被世界關(guān)注的算法對抗的意識！要善于走自己的路，才會(huì )有深刻的造詣！

附：

中美人工智能領(lǐng)域的差距實(shí)際有多大？

中國嵌入式系統產(chǎn)業(yè)聯(lián)盟

通用人工智能AGI專(zhuān)委會(huì )

主任顧澤蒼 于5月12日

從現在開(kāi)始我想聊一聊大家最關(guān)心的這個(gè)題目。

談到中美兩國在A(yíng)I領(lǐng)域的差距時(shí)我想絕大多數人都會(huì )認為我們一定是落后于美國。這種觀(guān)念是無(wú)可非議的。從本次AI高潮主流算法的深度學(xué)習模型就是美國的，當今的基礎大模型的發(fā)展來(lái)看，確實(shí)也是美國遙遙領(lǐng)先。

在這種情況下我國的研究人員感到無(wú)能為力！那么必定我國的AI就一定趕不上美國嗎？

我認為要趕上美國首先就要調整我們的創(chuàng )造意識！AI的思路被美國牽引著(zhù)，跟隨美國的AI模型的發(fā)展，我們就不可能超越美國！

比如深度學(xué)習模型，依靠深度神經(jīng)網(wǎng)絡(luò )的學(xué)習，可以提高識別精度，這已經(jīng)被業(yè)界認可了。但是，深度神經(jīng)網(wǎng)絡(luò )的效率極低，無(wú)功消耗極大！這種模型出自于連接主義的神經(jīng)網(wǎng)絡(luò )學(xué)派，是被數學(xué)上的NP問(wèn)題所綁架。

事實(shí)上應用效果的好壞與網(wǎng)絡(luò )連接的規模無(wú)關(guān)。

無(wú)需復雜鏈接，依靠高智慧密度的訓練數據，依靠把握被識別對象的真實(shí)的物理世界的全貌，依靠核函數的高維平面分類(lèi)，依靠概率尺度自組織可對被識別的數據的進(jìn)行最大概率的選擇，可以做到如同人類(lèi)識別物體那樣一回生二回熟越識別精度越高。這樣的屬于A(yíng)GI時(shí)代的自動(dòng)機器學(xué)習模型自然會(huì )遙遙領(lǐng)先于目前的深度學(xué)習模型的。

那么目前流行的生成式AI一定要消耗巨大的能源嗎？其實(shí)，從理論上講根本不需要!

還在被機器學(xué)習模型束縛的Transformer算法，在NLP上比起把類(lèi)似的單詞捆綁在一起通過(guò)深度學(xué)習訓練出詞向量的算法相比具有突破性的進(jìn)步。但是，NLP的處理不像模式識別那樣需要具有很好的泛化能力，從網(wǎng)絡(luò )上訓練的相同語(yǔ)意的單詞的頻率的大小是相對確定性的，語(yǔ)言的語(yǔ)法關(guān)系也是相對確定性的，因此不需要做到模式識別所需要的泛化能力。特別是在兩個(gè)矩陣的之間注意力機制的計算通過(guò)矩陣乘法才能獲得，這是很笨的方法。生成式AI的效果完全取決于所訓練出的語(yǔ)言數據的參數的多少！因此回避復雜連接的神經(jīng)網(wǎng)絡(luò )，使用低能耗的邏輯推理模型照樣可以訓練出超越傳統生成式AI的數據參數的數量，一定可以獲得接近人的大腦的功耗，而超越大模型的生成式AI的效果！從生成式AI的機理上搞清楚了就一定可以成功的。

僅舉如上的兩個(gè)例子足以說(shuō)明，只要我們改變思路就一定可以超越美國的AI水平。

特別是神經(jīng)網(wǎng)絡(luò )學(xué)派堅持復雜連接，這是愚蠢的違背科學(xué)的，必然走不下去的，美國推崇的生成式AI僅僅一個(gè)自然語(yǔ)言的應用就出現能源危機，這是違背科學(xué)的結果。我們只要堅持科學(xué)的方法論，悶頭走自己的路，當美國的AI領(lǐng)域研究者發(fā)現自己走不下去的時(shí)候，我們已經(jīng)在A(yíng)GI的時(shí)代里奮勇直前。