Adaline神經(jīng)網(wǎng)絡(luò )隨機逼近LMS算法的仿真研究

1 引言
人工神經(jīng)網(wǎng)絡(luò )最重要的功能之一是分類(lèi)。對于線(xiàn)性可分問(wèn)題，采用硬限幅函數的單個(gè)神經(jīng)元，通過(guò)簡(jiǎn)單的學(xué)習算法就可成功實(shí)現分類(lèi)。即對于兩個(gè)不同類(lèi)中的輸入矢量，神經(jīng)元的輸出值為0或1。但對于大多數非線(xiàn)性可分類(lèi)，硬限幅神經(jīng)元則無(wú)法完成分類(lèi)功能。自適應線(xiàn)性元件Adaline(Adap-tive LiIlear Element)是一種具有線(xiàn)性功能函數的神繹元，在實(shí)際輸出與理想預期值的最小二乘LMS(Least Mean Square)的統計意義下進(jìn)行學(xué)習，可以實(shí)現最佳的非線(xiàn)性可分集合的分類(lèi)，即按照最小二乘的統計意義要求，實(shí)際輸出值與理想預期值之間的誤差均方值為最小，能夠實(shí)現這一目的算法即稱(chēng)為最小二乘學(xué)習算法或LMS算法。

2 Adaline的LMS算法原理
設輸入矢量X=[x1，x2，…，xn]，加權矢量W=[ω1，ω2，…，ωn]，則神經(jīng)元的輸出為：

定義ε(k)是理想輸出值d(k)與實(shí)際輸出值y(k)之間的誤差，即ε(k)=d(k)-y(k)，其均方值記作E[ε2(k)]，令ζ(k)=E[ε2(k)]，則：

由式(2)可知必定存在最佳的加權矢量W*，使ζ(k)達到最小，此時(shí)ζ(k)相對于W的梯度等于零，從而可以得到：

式(3)雖然給出了求最佳加權矢量的方法，但需要大量的統計計算，而且當輸入矢量X的維數很大時(shí)，需要解決高階矩陣求逆問(wèn)題，這些在數學(xué)計算上都是非常閑難的。

3 隨機逼近LMS學(xué)習算法的提出
為了解決式(3)存在的問(wèn)題，有學(xué)者提出LMS學(xué)習問(wèn)題的嚴格遞推算法和隨機逼近算法，這里簡(jiǎn)要描述其算法原理。LMS學(xué)習問(wèn)題的嚴格遞推算法是在任意設置初始加權矢量W(0)時(shí)，對于每一個(gè)時(shí)序變量k，對W調整：

用這種方法可以保證求得嚴格的最佳解，而且避開(kāi)矩陣求逆。但學(xué)習過(guò)程的每一步仍需大量的統計計算，仍需解決統計計算困難。