Adaline神經(jīng)網(wǎng)絡(luò )隨機逼近LMS算法的仿真研究

該方法與前一算法區別在于：用ε(k)X(k)代替E[ε(k)X(k)]，從而避免統計計算的困難，但同時(shí)使加權矢量的變化趨向隨機性；步幅α變成一個(gè)隨時(shí)序k變化的量，可以證明，當α(k)滿(mǎn)足以下條件時(shí)，學(xué)習是收斂的：α(k)是時(shí)序k∞ ∞
的非增函數；在這樣k=0 k=0的條件下，W(k)隨著(zhù)k增大而趨向W*的概率為1。

4 隨機逼近LMS算法仿真
按以下步驟對隨機逼近算法編制程序進(jìn)行仿真：
(1)對圖1所示的正弦波和三角波分別進(jìn)行64點(diǎn)均勻采樣，組成64維輸入樣本矢量。

(2)W(0)選擇服從(0，1)之間均勻分布的隨機矢量，初始步長(cháng)參數α選為0．03，選定誤差的平方臨界值ε02(k)=10-5，將X0，X1交替重復地送入采用線(xiàn)性函數的神經(jīng)元，反復訓練，直至ε2(k)≤ε02(k)，這樣可以得到誤差平方和學(xué)習次數之間的關(guān)系，如圖2所示。
從圖2中可以看出．當α=0．03時(shí)，學(xué)習是收斂的，學(xué)習次數k=1 147，學(xué)習完成時(shí)ε(k)=3．2x10-3，其平方小于所確定的ε02(k)。把X0，X1重新送入神經(jīng)元，計算后得到實(shí)際輸出值Y0=0．003 9，Y1=0．999 9，這和預期輸出值相當接近，從而較好完成了X0，X1的分類(lèi)。
(3)設置不同的步幅α，分別計算并繪制ε2(k)變化曲線(xiàn)，觀(guān)察ε2(k)的收斂性、收斂速度與α的關(guān)系，試驗結果如圖3所示。從圖3中可以看出，當α 很小時(shí)，學(xué)習收斂，學(xué)習速度很慢，且收斂的穩定性較好；當α增大，學(xué)習仍保持收斂，但學(xué)習速度加快，同時(shí)穩定性降低；當α=0．08時(shí)，學(xué)習已不再收斂。