神經(jīng)網(wǎng)絡(luò )預測編碼器的設計及應用

1 BP網(wǎng)絡(luò )結構及其算法
反向傳播算法又稱(chēng)誤差后向傳播算法(Error Back Propagation Algorithm)，它是用來(lái)訓練多層前饋網(wǎng)絡(luò )的一種學(xué)習算法。是一種有監督的學(xué)習算法。通常稱(chēng)用誤差反向傳播算法訓練的網(wǎng)絡(luò )叫BP網(wǎng)絡(luò )。如圖1所示，該BP網(wǎng)絡(luò )具有一個(gè)輸入層，兩個(gè)隱含層(也稱(chēng)中間層)和一個(gè)輸出層組成，各層之間實(shí)行全連接。BP神經(jīng)網(wǎng)絡(luò )的隱含層通常具有多個(gè)，其傳輸函數常常采用sigmoid函數，而輸入輸出層則采用線(xiàn)性傳輸函數。

誤差反向傳播算法的主要思想是把學(xué)習過(guò)程分為兩個(gè)階段：第一階段(正向傳播過(guò)程)，給出輸入信息通過(guò)輸入層經(jīng)隱含層逐層處理并計算每個(gè)單元的實(shí)際輸出值；第二階段(反向傳播過(guò)程)，若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實(shí)際輸出與期望輸出之差值(即誤差)，以便根據此誤差調節權值。誤差反向傳播算法的性能函數是均方誤差。其算法流程如圖2所示。

2 神經(jīng)網(wǎng)絡(luò )預測編碼器的設計及應用
2．1 預測器層數
kolmogorov定理(即映射網(wǎng)絡(luò )存在定理)，一個(gè)隱含層的網(wǎng)絡(luò )，如果隱含層的功能函數是連續函數，則網(wǎng)絡(luò )輸出可以逼近一個(gè)連續函數。具體的說(shuō)，設網(wǎng)絡(luò )有p個(gè)輸入，q個(gè)輸出，則其作用可以看作是由p維歐式空間到q維歐式空間的一個(gè)非線(xiàn)性映射。
Kolmogorov定理表明含一個(gè)隱含層的BP前饋網(wǎng)絡(luò )是一種通用的函數逼近器，為逼近一個(gè)連續函數，一個(gè)隱含層是足夠的。當要學(xué)習不連續函數時(shí)，則需要兩個(gè)隱含層，即隱含層數最多兩層即可，Lippmann等也給出了同樣的結論。通過(guò)參考以上定理、規則，并結合試驗最終確定本文實(shí)現的神經(jīng)網(wǎng)絡(luò )預測器采用兩個(gè)隱含層，一個(gè)輸入層和一個(gè)輸出層的BP網(wǎng)絡(luò )。
2．2 節點(diǎn)數
網(wǎng)絡(luò )的輸入與輸出節點(diǎn)數是由實(shí)際問(wèn)題的本質(zhì)決定的，與網(wǎng)絡(luò )性能無(wú)關(guān)。而當像素間距離超過(guò)5時(shí)，像素之間的相關(guān)性就很小，并且在圖像的某一個(gè)區域內，色度信息不會(huì )突變，因此，本文設計的BP神經(jīng)網(wǎng)絡(luò )預測器利用與當前像素相鄰的9個(gè)像素來(lái)預測當前像素，這樣不僅可以利用同一色分量?jì)认袼刂g的相關(guān)性，也可以利用不同色通道之間像素的相關(guān)性進(jìn)行預測。鄰域像素的選擇如圖3所示。