人工智能推動(dòng)神經(jīng)網(wǎng)絡(luò )技術(shù)開(kāi)發(fā)熱潮

神經(jīng)網(wǎng)絡(luò )幾乎成了人工智能的代名詞，正在被應用于各種領(lǐng)域，包括影像識別、語(yǔ)音識別、自然語(yǔ)言處理、自動(dòng)駕駛、訊號分析、大數據分析和游戲。
這是一個(gè)瞬息萬(wàn)變的世界，每年都有新的神經(jīng)網(wǎng)絡(luò )模型被更新，大量的開(kāi)放原始碼到處流傳，專(zhuān)用人工智能芯片開(kāi)發(fā)企業(yè)更是如雨后春筍般涌現。
因此全球研究人員正透過(guò)模仿人類(lèi)大腦組織方式，積極開(kāi)發(fā)類(lèi)神經(jīng)網(wǎng)絡(luò )技術(shù)，雖然一直有突破性的進(jìn)展，但是現階段的神經(jīng)網(wǎng)絡(luò )，還是缺乏實(shí)時(shí)變化的靈活性，以及難以快速適應陌生的狀況，使得神經(jīng)網(wǎng)絡(luò )技術(shù)普及實(shí)用化的進(jìn)程還是相當遙遠。

根據不同應用開(kāi)發(fā)出的神經(jīng)網(wǎng)絡(luò )模型
神經(jīng)網(wǎng)絡(luò )是模仿人類(lèi)神經(jīng)細胞網(wǎng)絡(luò )的模型，由輸入層、中間層(隱藏層)和輸出層的神經(jīng)元，以及連接它們的突觸組成。而機器學(xué)習就是在大量數據的基礎上，自動(dòng)構建連接和它們的權重。
深度學(xué)習是指，使用具有多個(gè)中間層的神經(jīng)網(wǎng)絡(luò )的機器學(xué)習。深度學(xué)習使計算機能夠提取自己的特征量，作為發(fā)現模式和規則時(shí)應該注意些什么，同時(shí)也能進(jìn)行識別和其他作業(yè)，因此促進(jìn)了人工智能熱潮。

模型根據應用的不同，又分為影像識別的深度神經(jīng)網(wǎng)絡(luò )（DNN）、卷積神經(jīng)網(wǎng)絡(luò )（CNN）、語(yǔ)音識別的循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN）和自然語(yǔ)言處理的Transformer。模型可以在不同的應用中進(jìn)行整合，也可為每個(gè)應用開(kāi)發(fā)出新模型。

深度神經(jīng)網(wǎng)絡(luò )（DNN）
DNN的隱藏層由一個(gè)卷積層和一個(gè)池化層組成。卷積層利用過(guò)濾上一層附近的節點(diǎn)，而可得到一個(gè)特征圖。池化層進(jìn)一步縮小卷積層輸出的特征圖，得到新的特征圖，同時(shí)可在保持影像特性的同時(shí)，可以極大地壓縮影像中的信息量。例如，在2012年ILSVRC影像識別比賽中，以壓倒性的優(yōu)勢獲勝，采用八層結構的AlexNet就引發(fā)了深度學(xué)習的熱潮，隨后經(jīng)過(guò)改進(jìn)而來(lái)的ResNet，其層數就達到了152層。因此，透過(guò)導入簡(jiǎn)化處理塊的Residual模塊，即使是在高層數的結構下，也能達到高效學(xué)習。

循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN）
具有自我回饋的遞歸網(wǎng)絡(luò )RNN，是一個(gè)適合處理包括語(yǔ)音波形、視訊和文本文件(字符串)等等時(shí)間序列數據的神經(jīng)網(wǎng)絡(luò )。例如神經(jīng)網(wǎng)絡(luò )中為了處理如語(yǔ)音等，可變長(cháng)時(shí)間序列數據，將隱藏層的值再次回饋輸入到隱藏層。當存取很久以前的數據，或出現運算量爆炸等問(wèn)題時(shí)，可透過(guò)應用于自然語(yǔ)言處理的LSTM(長(cháng)短時(shí)記憶)來(lái)解決。

Transformer
在自然語(yǔ)言處理方面，既不是透過(guò)RNN，也不是CNN，而是據由深度學(xué)習的Transformer取得了重大進(jìn)展：這是一個(gè)只使用Attention(表示要注意句子中哪些單詞的分數)的Encoder-Decoder模型，也可透過(guò)并行化來(lái)減少學(xué)習時(shí)間。在后續的技術(shù)改進(jìn)下也相繼開(kāi)發(fā)出的BERT、GPT-2、T5等，甚至已超過(guò)了人類(lèi)的語(yǔ)言處理能力。
而Conformer是一個(gè)結合CNN的模型，可被應用于語(yǔ)音識別，其能力已經(jīng)超過(guò)RNN的最高準確性。Conformer結合了善于提取長(cháng)時(shí)空依賴(lài)關(guān)系的Transformer，和善于提取局部關(guān)系的CNN。此外，一個(gè)新的影像識別模型-Vision Transformer也被開(kāi)發(fā)出來(lái)，在進(jìn)行影像識別時(shí)，所需要的運算資源比CNN少更少。

大型數據處理業(yè)者相爭投入開(kāi)發(fā)AI芯片
神經(jīng)網(wǎng)絡(luò )中的訊號處理，相當于將神經(jīng)元乘以權重的數值加在一起，再透過(guò)高速運算乘積之和的操作來(lái)模仿大腦行為(高速積和加速器)。最近的主流配置是盡可能多鋪設必要數量的圖磚(Tile)來(lái)進(jìn)行AI運算，例如，一個(gè)圖磚被用于終端傳感器控制，4-16個(gè)圖磚用于中等規模的邊緣處理，64個(gè)或更多圖磚用于數據中心等服務(wù)器。
人工智能芯片的功能大致可分為推理和學(xué)習。兩者都需要相同的高速乘積運算，但與推理相比，學(xué)習需要進(jìn)行大量的乘積和運算，因此各大數據處理業(yè)者正積極投入這方面的研發(fā)，例如，Google目前正積極開(kāi)發(fā)TPU來(lái)作為本身數據中心的AI芯片。第一代(2017年)有8位定點(diǎn)操作，只能用于推理，但第二代有16位浮點(diǎn)運算，則可以應用在學(xué)習。接下來(lái)第三代的性能則是120Tops @ 250W，最新的第四代載板設計了4顆TPU，且采用液體冷卻，指令周期更是上一代的2.7倍。這些電路板被安裝在一個(gè)個(gè)機柜內，然后通過(guò)高速傳輸線(xiàn)相互連接。
用于推理的人工智能芯片要求體積小、功耗低和實(shí)時(shí)處理。例如，Gyrfalco銷(xiāo)售一種形狀像USB隨身碟的AI棒。采用的AI芯片是一款具有矩陣處理引擎，利用PIM(內存中處理器)技術(shù)來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò )模型的計算處理，這個(gè)架構可降低與內存和計算電路之間的數據存取的功耗，芯片內部有大約28000個(gè)節點(diǎn)和10M bytes的內存，據稱(chēng)能夠將通用模型所需的所有性能都能整合到芯片中。

NTT與東大合作開(kāi)發(fā)新型類(lèi)腦學(xué)習算法
對于深度神經(jīng)網(wǎng)絡(luò )的運算，日本NTT與東京大學(xué)合作下，開(kāi)發(fā)了一種不需要準確掌握物理系統信息，適用于物理神經(jīng)網(wǎng)絡(luò )的新算法-「擴展DFA(Detrended Fluctuation Analysis)」。
圖一A是這種算法的概況和結果的定位，這是基于深入研究了一種名為直接回饋排列法的學(xué)習算法，是將反向傳播算法(Back Propagation；BP)修改為在大腦信息處理更容易實(shí)現的形式，并將其擴展到可在物理神經(jīng)網(wǎng)絡(luò )中實(shí)現。
這個(gè)方法是將神經(jīng)網(wǎng)絡(luò )最后一層的輸出與所需輸出訊號(誤差訊號)之間的差值，透過(guò)隨機元素的矩陣的線(xiàn)性變換來(lái)更新學(xué)習參數。運算過(guò)程不需要測量物理系統的狀態(tài)，也不需要像BP法需要利用微分響應的物理模擬進(jìn)行近似運算。
此外，這個(gè)運算可以在包括光路等物理系統上執行，除了可以在物理系統上有效地運算推理，還可以進(jìn)行學(xué)習。這種新的學(xué)習方法不僅適用于物理實(shí)現中實(shí)現的神經(jīng)網(wǎng)絡(luò )模型，也適用于各種機器學(xué)習模型，包括實(shí)際用于機器翻譯和其他應用的高級深度神經(jīng)網(wǎng)絡(luò )模型。
因此NTT與東京大學(xué)構建了一個(gè)光學(xué)神經(jīng)網(wǎng)絡(luò )(圖一 B)，證明了以前難以進(jìn)行的光學(xué)神經(jīng)網(wǎng)絡(luò )學(xué)習，可以利用光學(xué)計算輔助推理和學(xué)習運算的可行性。這一成果將解決人工智能的計算時(shí)，功耗和計算時(shí)間增加的問(wèn)題。


 
圖一 : 物理系統的計算被納入學(xué)習部分來(lái)提高效率；以及實(shí)際設備應用的光學(xué)神經(jīng)網(wǎng)絡(luò )。(source：日本NTT；作者整理)

適用于物理神經(jīng)網(wǎng)絡(luò )的擴展DFA法
DFA法是受到大腦信息處理的啟發(fā)，因而進(jìn)一步擴展為適合在物理神經(jīng)網(wǎng)絡(luò )中實(shí)現的形式。如圖二A所示，傳統的DFA法是透過(guò)隨機矩陣對最后一層的誤差，進(jìn)行線(xiàn)性變換來(lái)訓練深度神經(jīng)網(wǎng)絡(luò )學(xué)習；盡管比BP法更適用于物理神經(jīng)網(wǎng)絡(luò )，但仍然需要計算物理神經(jīng)網(wǎng)絡(luò )時(shí)，使用的非線(xiàn)性變換及其導數。
而NTT與東大擴展了DFA法技術(shù)，使這部分可以由一個(gè)任意的非線(xiàn)性函數代替。這完全省去了對物理系統的狀態(tài)測量、基于微分響應的物理模擬的近似值，以及基于這些近似值的順序反向傳播演算。學(xué)習過(guò)程已被大幅度簡(jiǎn)化，實(shí)現了用物理神經(jīng)網(wǎng)絡(luò )幾乎不可能的學(xué)習。此外在對各種深度學(xué)習模型的適用性應用于各種深度學(xué)習模型時(shí)，也可以適用于廣泛的深度神經(jīng)網(wǎng)絡(luò )模型，包括從實(shí)際用于影像識別，和其他應用的高級模型（圖二B）。


 
圖二 : A現有和新開(kāi)發(fā)的學(xué)習方法概述；B各種模型的基準檢驗結果。（source：日本NTT；作者整理）

圖三A是使用構建系統對圖像處理基準任務(wù)性能的比較結果，光學(xué)神經(jīng)網(wǎng)絡(luò )可達到最高性能。圖三B則是顯示了每單位影像的學(xué)習時(shí)間對神經(jīng)元數量的依賴(lài)性。在小規模網(wǎng)絡(luò )模型的情況下，速率決定了信息傳輸到光學(xué)硬件的處理時(shí)間，因此效果不如光學(xué)計算的計算加速效果大。
但是隨著(zhù)神經(jīng)元數量的增加，可以發(fā)現光學(xué)神經(jīng)網(wǎng)絡(luò )計算在指令周期上比傳統的數字電子計算更有優(yōu)勢。此外，由于人工智能運算的功耗，是由效率和計算時(shí)間的積和所決定的，因此加速計算有助于降低功耗。


 
圖三 : A使用光學(xué)神經(jīng)網(wǎng)絡(luò )進(jìn)行影像辨識測試(手寫(xiě)字符辨識、衣服影像辨識；B 每單位影像的運算時(shí)間對神經(jīng)元數量的依賴(lài)性。(source：日本NTT；作者整理)

靈感來(lái)自于線(xiàn)蟲(chóng)的液體神經(jīng)網(wǎng)絡(luò )技術(shù)
2020年，由麻省理工學(xué)院Ramin Hasani和Matthias Lechner所領(lǐng)導的一個(gè)研究小組，推出了一種液體神經(jīng)網(wǎng)絡(luò )(Liquid Neural Network)的新形態(tài)神經(jīng)網(wǎng)絡(luò )，其靈感來(lái)自微小的線(xiàn)蟲(chóng)。這項技術(shù)是以模仿具有細長(cháng)的線(xiàn)狀身體的「線(xiàn)性動(dòng)物」為參考基礎，來(lái)開(kāi)發(fā)出神經(jīng)網(wǎng)絡(luò )技術(shù)，達到前所未有的速度和靈活性，來(lái)實(shí)現「質(zhì)」的跨越性進(jìn)步，足以在某些應用中取代傳統網(wǎng)絡(luò )。
據加州大學(xué)伯克利分校的機器人工程師Ken Goldberg表示，根據實(shí)驗結果顯示，比起需要透過(guò)隨時(shí)間變化，來(lái)進(jìn)行建立模型的「連續時(shí)間神經(jīng)網(wǎng)絡(luò )」，這款「液體神經(jīng)網(wǎng)絡(luò )技術(shù)」，要來(lái)得更快、更準確（圖四）。


 
圖四 : 麻省理工學(xué)院Ramin Hasani和Matthias Lechner開(kāi)發(fā)出新形態(tài)的液體神經(jīng)網(wǎng)絡(luò )。（source：麻省理工學(xué)院Ramin Hasani博士）

Hasani和Lechner在思考如何能建立出一個(gè)夠靈活，且能快速適應新?tīng)顩r的反應性神經(jīng)網(wǎng)絡(luò )時(shí)，發(fā)現線(xiàn)蟲(chóng)是一個(gè)非理想可參考的生物體。線(xiàn)蟲(chóng)是少數具有完全反射的神經(jīng)系統的生物之一，可以透過(guò)一個(gè)大約1mm長(cháng)的神經(jīng)系統，來(lái)完成一系列復雜的行為，包括遷移、覓食、睡眠、交配，甚至從經(jīng)驗中不斷的學(xué)習，而且在現實(shí)世界中，線(xiàn)蟲(chóng)無(wú)論在任何環(huán)境或狀況下都具有相當優(yōu)秀的適應能力。
液體神經(jīng)網(wǎng)絡(luò )技術(shù)與傳統的神經(jīng)網(wǎng)絡(luò )有很大的不同，傳統的神經(jīng)網(wǎng)絡(luò )只提供特定時(shí)刻的結果。而液體神經(jīng)網(wǎng)絡(luò )技術(shù)是一種非常特別的神經(jīng)網(wǎng)絡(luò )架構，可以將神經(jīng)元都是聯(lián)系在一起，并且透過(guò)彼此之間具有相互依賴(lài)的特性，來(lái)描述系統于任何特定時(shí)間下的狀態(tài)。
此外，在處理突觸的方式上也有所不同，突觸是人工神經(jīng)元之間的連接。在標準的神經(jīng)網(wǎng)絡(luò )中，突觸連接的強度，可以用單一的數值來(lái)表示「權重(weight)」。而另一方面，在液體神經(jīng)網(wǎng)絡(luò )中，神經(jīng)元之間的訊號交換是透過(guò)「非線(xiàn)性」函數控制的隨機過(guò)程，這意味著(zhù)不會(huì )傳回與輸入成比例的響應（圖五）。


 
圖五 : MIT的研究人員基于蠕蟲(chóng)的啟發(fā)，發(fā)現了一種更靈活的機器學(xué)習方法-液體神經(jīng)網(wǎng)絡(luò )，可以實(shí)時(shí)轉換其底層算法，達到前所未有的速度和適應性。（source：Quanta Magazine）

只需利用基本運算獲得精確的近似解
傳統的神經(jīng)網(wǎng)絡(luò )算法是利用在訓練期間調整「權重」的最佳值，但在面對大量數據的環(huán)境下，液體神經(jīng)網(wǎng)絡(luò )的適應性會(huì )來(lái)得更強。因為液體神經(jīng)網(wǎng)絡(luò )可以根據觀(guān)察到的輸入改變基礎程序。例如在對自動(dòng)駕駛汽車(chē)操作進(jìn)行測試時(shí)，傳統的神經(jīng)網(wǎng)絡(luò )只能定期分析來(lái)自汽車(chē)攝影機的視覺(jué)數據，雖然液體神經(jīng)網(wǎng)絡(luò )僅由19個(gè)神經(jīng)元和253個(gè)突觸所組成，按機器學(xué)習標準來(lái)說(shuō)這個(gè)能力根本是非常薄弱，但事實(shí)上，該模型是允許對例如蜿蜒的道路等，復雜的道路進(jìn)行更頻繁的采樣，因此液體神經(jīng)網(wǎng)絡(luò )能比傳統神經(jīng)網(wǎng)絡(luò )，表現出更高的反應能力。
不過(guò)，在突觸和神經(jīng)元的非線(xiàn)性方程式，通常需要計算機多次運算才能得出解決方案。因此這也是液體神經(jīng)網(wǎng)絡(luò )的死穴，因為液體神經(jīng)網(wǎng)絡(luò )的突觸和神經(jīng)元的軟件，由于是單獨進(jìn)行計算，再加上所使用的突觸和神經(jīng)元數量不多，因此運行速度非常慢。不過(guò)，這樣的困境也被克服了。
在2022年11月新發(fā)表的一篇論文中表示，研究團隊提出了一種新網(wǎng)絡(luò )架構，不必透過(guò)復雜困難的運算來(lái)解決非線(xiàn)性方程式。這個(gè)架構是只需要利用基本運算，就可以獲得近乎精確的近似解，大幅度的減少運算時(shí)間和能量，以及明顯地提高了處理速度。
目前這個(gè)小組正用一架無(wú)人機測試最新的液體神經(jīng)網(wǎng)絡(luò )，最初的測試是在森林中進(jìn)行的，但希望將來(lái)能移到城市環(huán)境中，看看在面對新的環(huán)境條件時(shí)自我調適能力。

結語(yǔ)：過(guò)度投入將導致泡沫熱潮
神經(jīng)運算是人工智能熱潮的基礎技術(shù)，在許多業(yè)者和機構的投入下，從材料到設備、硬件、軟件到應用，都呈現迅速地發(fā)展的態(tài)勢。此外，還有全方位的開(kāi)放架構，進(jìn)入門(mén)坎相當低，尤其是從應用的角度來(lái)看，也有相當多的開(kāi)發(fā)工具可使用。
以目前來(lái)看，但最大的障礙可能是收集所需要的大量學(xué)習數據，例如在某些領(lǐng)域，由于隱私和其他問(wèn)題，數據收集是非常困難的。
另外，有些應用領(lǐng)域更是缺乏關(guān)于缺陷和故障的數據，如預測性故障和故障分析。由于神經(jīng)運算是一個(gè)以歸納方式給出答案的系統，因此有些人會(huì )抱怨，這和訴諸理性的演繹法不同。
然而，無(wú)論如何神經(jīng)運算已經(jīng)開(kāi)始啟動(dòng)了，也呈現出非要達到目標的勢頭。為了解決上述問(wèn)題，仍然需要技術(shù)的創(chuàng )新，可以說(shuō)所有的技術(shù)領(lǐng)域都有商業(yè)機會(huì )。因此更要冷靜地分析形勢，不要被繁榮的景象所引誘，而又出現另一個(gè)泡沫熱潮。