基于FPGA的人工神經(jīng)網(wǎng)絡(luò )實(shí)現方法的研究
加入技術(shù)交流群
人工神經(jīng)網(wǎng)絡(luò )(Artificial Neural Network，ANN)是一種類(lèi)似生物神經(jīng)網(wǎng)絡(luò )的信息處理結構，它的提出是為了解決一些非線(xiàn)性，非平穩，復雜的實(shí)際問(wèn)題。目前實(shí)現ANN還主要依靠軟件程序．但是依靠程序很難達到實(shí)時(shí)性的要求。
神經(jīng)網(wǎng)絡(luò )在FPGA上實(shí)現是獨立于馮?諾依曼架構，利用FPGA的并行性，在一些實(shí)時(shí)性要求很強的領(lǐng)域應用。通用計算機雖然編程容易，但是很多時(shí)間浪費在分析指令，讀出寫(xiě)入數據等。于是人們想利用ASIC(專(zhuān)用計算芯片)完成神經(jīng)網(wǎng)絡(luò )的計算任務(wù)，但是由于資源有限，這種芯片只限于實(shí)現特定的算法結構和小規模網(wǎng)絡(luò )，而且專(zhuān)用芯片的制作成本很高，只適合大批量生產(chǎn)。
可編程邏輯器件FPGA的出現給IC設計行業(yè)一個(gè)很強的工具，它可以小成本的開(kāi)發(fā)一些專(zhuān)用芯片，如果開(kāi)發(fā)是成功的可以考慮流片生產(chǎn)。用FPGA實(shí)現神經(jīng)網(wǎng)絡(luò )比ASIC神經(jīng)計算單元更容易實(shí)現，利用可編程邏輯，FPGA可以實(shí)現像軟件一樣的設計靈活性，特別是對于復雜網(wǎng)絡(luò )，設計周期大大縮短，其內部的重構邏輯模塊(Configurable Logic Blocks，CLBs)包含若干邏輯單元，利用固有的可重構路徑結構可以實(shí)現高效率的連接。此外，現在正在開(kāi)發(fā)中的一種神經(jīng)計算芯片為神經(jīng)網(wǎng)絡(luò )的實(shí)現提出了一種新的有效方法。
1 FPGA實(shí)現神經(jīng)網(wǎng)絡(luò )關(guān)鍵問(wèn)題分析
(1)選擇合適的神經(jīng)網(wǎng)絡(luò )及其拓撲結構
不同的神經(jīng)網(wǎng)絡(luò )有不同的應用，而且不同的網(wǎng)絡(luò )完成知識表達的機理是不同的，某一個(gè)神經(jīng)網(wǎng)絡(luò )不是萬(wàn)能的．對于實(shí)際問(wèn)題，首先要做的就是選擇針對性的神經(jīng)網(wǎng)絡(luò )，如線(xiàn)性分類(lèi)問(wèn)題可以用簡(jiǎn)單的感知器，對于復雜的分類(lèi)問(wèn)題，函數逼近問(wèn)題可以使用BP網(wǎng)絡(luò )，對于一些聚類(lèi)問(wèn)題可以使用徑向基(RBF)網(wǎng)絡(luò )等。以BP網(wǎng)絡(luò )結構為例，這種被廣泛采用的架構由具有錯誤反向傳播算法的多層感知器構成(Multilayer Perceptrons u-sing Back-Propagation，MLP-BP)，訓練一個(gè)BP網(wǎng)絡(luò )主要的問(wèn)題就在于：訓練開(kāi)始之前，對于網(wǎng)絡(luò )拓撲結構缺乏一種明確的確定方法。而進(jìn)行各種拓撲結構的實(shí)驗并不那么容易，因為對于每一個(gè)訓練周期都要消耗很長(cháng)的時(shí)間，特別是復雜的網(wǎng)絡(luò )，更是如此；其次，對于硬件而言，最合適的網(wǎng)絡(luò )運算法則不僅在于它達到收斂有多么快，還要考慮是否容易在硬件上實(shí)現且這種實(shí)現代價(jià)和性能如何；另外，對于同一種NN(Neural Net-work)。其拓撲結構對網(wǎng)絡(luò )的收斂特性以及知識表達特性都有影響，一般增加網(wǎng)絡(luò )的神經(jīng)元或者神經(jīng)元的層數，是可以增加網(wǎng)絡(luò )的逼近能力，但是可能會(huì )影響網(wǎng)絡(luò )的學(xué)習收斂情況，而且還可能會(huì )因為過(guò)適應(Overfit)而失去泛化能力。
(2)正確選擇數值表達形式
精度的選擇對處理密度(與耗費的硬件資源成反比)有直接影響。其中浮點(diǎn)數可以在計算機中表達實(shí)數，它有相對高的精度和大的動(dòng)態(tài)范圍，使用浮點(diǎn)數使得計算更為精確，但是在FPGA上實(shí)現浮點(diǎn)數運算是一個(gè)很大的挑戰，而且會(huì )耗費很多硬件資源。盡管如此，加拿大研究人員Medhat Moussa and Shawki Arei-bi仍然實(shí)現了浮點(diǎn)數的運算，并進(jìn)行了詳細的對比分析。
對于MLP-BP而言，Holt and Baker憑借仿真和理論分析指出16為定點(diǎn)(1位標志位，3位整數位和12位小數位)是最小可允許的精度表示(指可以達到收斂)。以邏輯XOR問(wèn)題為例，文獻[1]中表格2．5(見(jiàn)表1)表明與基于FPGA的MLP-BP浮點(diǎn)法實(shí)現相比，定點(diǎn)法實(shí)現在速度上高出12倍，面積上是浮點(diǎn)實(shí)現的1／13，而且有更高的處理密度。
同時(shí)數據也說(shuō)明基于FPGA的16位定點(diǎn)MLP-BP實(shí)現在處理密度上高于基于軟件方法的MLP-BP實(shí)現，這最好地證明可重構計算方法的處理密度優(yōu)勢。應該說(shuō)，在這種應用中浮點(diǎn)數遠不如定點(diǎn)數合適。但是定點(diǎn)數表示的缺點(diǎn)在于有限精度，盡管如此，對于不同的應用選擇合適的字長(cháng)精度，仍然可以得到收斂。因此，目前基于FPGA的ANN大多數是使用定點(diǎn)數進(jìn)行計算的。
(3)門(mén)限非線(xiàn)性激活函數(Non-linear activationFunction)的實(shí)現
ANN的知識表達特性與非線(xiàn)性逼近能力，有很大部分源自門(mén)限函數。在MLP網(wǎng)絡(luò )中，門(mén)限函數大部分是非線(xiàn)性函數(少數是線(xiàn)性函數，如輸出層的門(mén)限函數)，但是非線(xiàn)性傳遞函數的直接硬件實(shí)現太昂貴，目前實(shí)現門(mén)限函數的方法主要有：查表法(look-up ta-ble)、分段線(xiàn)性逼近、多項式近似法、有理近似法以及協(xié)調旋轉數字計算機(Coordinated Rotation Digital Com-puter，CORDIC)法則，CORDIC法則實(shí)現函數的優(yōu)點(diǎn)在于同一硬件資源能被若干個(gè)函數使用，但是性能相當差，因此較少使用。而高次多項式近似法盡管可以實(shí)現低誤差近似，但是實(shí)現需要耗費較高硬件資源。相對而言，查找表法和分段線(xiàn)性逼近法(注意：查找表不易太大，否則速度會(huì )慢且代價(jià)也大)更適合FPGA技術(shù)實(shí)現。其中分段線(xiàn)性近似法以y=c1+c2x的形式描述一種線(xiàn)性連接組合(如圖1所示)，如果線(xiàn)性函數的系數值為2的冪次，則激活函數可以由一系列移位和加法操作實(shí)現，許多神經(jīng)元的傳遞函數就是這樣實(shí)現的，而查找表法則是將事先計算的數值依次存儲在需要查詢(xún)的存儲器中來(lái)實(shí)現。
評論