基于BP網(wǎng)絡(luò )的字母識別

摘 要： 介紹了用BP神經(jīng)網(wǎng)絡(luò )方法對英文字母進(jìn)行識別，并在識別過(guò)程中考慮了噪聲干擾及非線(xiàn)性因素的存在，使網(wǎng)絡(luò )具有一定的容錯能力，并用MATLAB完成了對字母識別的模擬。
　　關(guān)鍵詞： BP神經(jīng)網(wǎng)絡(luò )；模式識別，MATLAB

　　智能控制作為一門(mén)新興的交叉學(xué)科，在許多方面都優(yōu)于傳統控制，而智能控制中的人工神經(jīng)網(wǎng)絡(luò )由于模仿人類(lèi)的神經(jīng)網(wǎng)絡(luò )，具有感知識別、學(xué)習、聯(lián)想、記憶、推理等智能，更是有著(zhù)廣闊的發(fā)展前景。其中最核心的是反向傳播網(wǎng)絡(luò )(Back Propagation Network)，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò )[1]。本文介紹了運用matlab工具箱確定隱層神經(jīng)元的個(gè)數和構造BP神經(jīng)網(wǎng)絡(luò )，并用兩類(lèi)不同的數據對該神經(jīng)網(wǎng)絡(luò )進(jìn)行訓練，然后運用訓練后的網(wǎng)絡(luò )對字符進(jìn)行識別。
1 BP網(wǎng)絡(luò )
1.1 BP網(wǎng)絡(luò )的簡(jiǎn)介
　　20世紀80年代中期，學(xué)者Rumelhart、McClelland和他們的同事提出了多層前饋網(wǎng)絡(luò )MFNN(Mutltilayer Feedforward Neural Networks)的反向傳播學(xué)習算法，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò )(Back Propagation Network)學(xué)習算法。BP網(wǎng)絡(luò )是對非線(xiàn)性可微分函數進(jìn)行權值訓練的多層前向網(wǎng)絡(luò )。在人工神經(jīng)網(wǎng)絡(luò )的實(shí)際應用中，80%～90%的模型都采用BP網(wǎng)絡(luò )或其變化形式。
BP網(wǎng)絡(luò )主要作用于以下幾個(gè)方面：
　　(1)函數逼近：用輸入矢量和相應的輸出矢量訓練一個(gè)網(wǎng)絡(luò )來(lái)逼近一個(gè)函數；
　　(2)模式識別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；
　　(3)分類(lèi)：把輸入矢量以所定義的合適的方式進(jìn)行分類(lèi)；
　　(4)數據壓縮：減少輸出矢量的維數以便于數據傳輸或存儲。
1.2 BP網(wǎng)絡(luò )模型
　　BP網(wǎng)絡(luò )是一種單向傳播的多層前向網(wǎng)絡(luò )[2]，每一層節點(diǎn)的輸出只影響下一層節點(diǎn)的輸出，其網(wǎng)絡(luò )結構如圖1所示，其中X和U分別為網(wǎng)絡(luò )輸入、輸出向量，每個(gè)節點(diǎn)表示一個(gè)神經(jīng)元。網(wǎng)絡(luò )是由輸入層、隱層和輸出層節點(diǎn)構成，隱層節點(diǎn)可為一層或多層，同層節點(diǎn)沒(méi)有任何耦合，前層節點(diǎn)到后層節點(diǎn)通過(guò)權連接。輸入信號從輸入層節點(diǎn)依次傳過(guò)各隱層節點(diǎn)到達輸出層節點(diǎn)。

2字符識別問(wèn)題的描述及網(wǎng)絡(luò )識別前的預處理
　　字符識別是模式識別領(lǐng)域的一項傳統課題，這是因為字符識別不是一個(gè)孤立的問(wèn)題，而是模式識別領(lǐng)域中大多數課題都會(huì )遇到的基本問(wèn)題，并且在不同的課題中，由于具體的條件不同，解決的方法也不盡相同，因而字符識別的研究仍具有理論和實(shí)踐意義。這里討論的是用BP神經(jīng)網(wǎng)絡(luò )對26個(gè)英文字母的識別。
　　在對字母進(jìn)行識別之前，首先必須將字母進(jìn)行預處理[3]，即將待識別的26個(gè)字母中的每一個(gè)字母都通過(guò)的方格形式進(jìn)行數字化處理，其有數據的位置設為1，其他位置設為0。如圖2給出了字母A、B和C的數字化過(guò)程，然后用一個(gè)1×35的向量表示。例如圖2中字母A的數字化處理結果所得對應的向量為：
　　LetterA=[00100010100101010001111111000110001]

　　由此可得每個(gè)字母由35個(gè)元素組成一個(gè)向量。由26個(gè)標準字母組成的輸入向量被定義為一個(gè)輸入向量矩陣alphabet，即神經(jīng)網(wǎng)絡(luò )的樣本輸入為一個(gè)35×26的矩陣。其中alphabet=[letterA，letterB，lettereC，……letterZ]。網(wǎng)絡(luò )樣本輸出需要一個(gè)對26個(gè)輸入字母進(jìn)行區分輸出向量，對于任意一個(gè)輸入字母，網(wǎng)絡(luò )輸出在字母對應的順序位置上的值為1，其余為0，即網(wǎng)絡(luò )輸出矩陣為對角線(xiàn)上為1的26×26的單位陣，定義為target=eye(26)。
　　本文共有兩類(lèi)這樣的數據作為輸入：一類(lèi)是理想的標準輸入信號；另一類(lèi)是在標準輸入信號中加上用MATLAB工具箱里的噪聲信號，即randn函數。
3 網(wǎng)絡(luò )設計及其試驗分析
　　為了對字母進(jìn)行識別，所設計的網(wǎng)絡(luò )具有35個(gè)輸入節點(diǎn)和26個(gè)輸出節點(diǎn)，對于隱含層節點(diǎn)的個(gè)數的選取在后面有詳細的介紹。目標誤差為0.000 1，從輸入層到隱層的激活函數采用了S型正切函數tansig，從隱層到輸出層的激活函數采用了S型對數函數logsig，這是因為函數的輸出位于區間[0,1]中，正好滿(mǎn)足網(wǎng)絡(luò )輸出的要求。
3.1 隱層節點(diǎn)個(gè)數的確定
　　根據BP網(wǎng)絡(luò )的設計目標，一般的預測問(wèn)題都可以通過(guò)單隱層的BP網(wǎng)絡(luò )實(shí)現。難點(diǎn)是隱層節點(diǎn)個(gè)數的選擇，隱層節點(diǎn)數對網(wǎng)絡(luò )的學(xué)習和計算特性具有非常重要的影響，是該網(wǎng)絡(luò )結構成敗的關(guān)鍵。若隱層節點(diǎn)數過(guò)少，則網(wǎng)絡(luò )難以處理復雜的問(wèn)題；但若隱層節點(diǎn)數過(guò)多，則將使網(wǎng)絡(luò )學(xué)習時(shí)間急劇增加，而且還可能導致網(wǎng)絡(luò )學(xué)習過(guò)度，抗干擾能力下降。
　　目前為止，還沒(méi)有完善的理論來(lái)指導隱層節點(diǎn)數的選擇，僅能根據Kolmogorov定理，和單隱層的設計經(jīng)驗公式[4]，并考慮本例的實(shí)際情況，確定隱層節點(diǎn)個(gè)數應該介于8～17之間。
　　本文設計了一個(gè)隱層節點(diǎn)數目可變的BP網(wǎng)絡(luò )，通過(guò)誤差對比，確定最佳的隱層節點(diǎn)個(gè)數，具體程序如下：
　　[alphabet,targets]=prprob;
　　p=alphabet;
　　t=targets;
　　s=8:17;
　　res=zeros(1,10);
　　res2=zeros(1,10);
　　for i=1:10
　　fprintf('s(i)=%.0fn',s(i));
　　net=newff(minmax(p),[s(i),26],{'tansig','logsig'},'traingdx');
　　net.trainParam.epochs=1000;
　　net.trainParam.goal=0.0001;
　　[net,tr]=train(net,p,t);
　　y=sim(net,p);
　　error=(y(1,:)-t(1,:)).^2;
　　error2=(y(2,:)-t(2,:)).^2;
　　res(i)=norm(error);
　　res2(i)=norm(error2);
　　pause
　　i=i+1;
　　end
　　通過(guò)網(wǎng)絡(luò )的輸出顯示以及網(wǎng)絡(luò )訓練速度和精度因素，選取隱層節點(diǎn)的最佳個(gè)數為14。
3.2 生成網(wǎng)絡(luò )
　　使用函數newff創(chuàng )建一個(gè)兩層網(wǎng)絡(luò )，具體函數為:
　　[alphabet,targets]=prprob;
　　[R1,Q1]=size(alphabet)
　　[R2,Q2]=size(targets)
　　S1=14;
　　S2=R2;
　　net=newff(minmax(p),[S1 S2],{'tansig','logsig'},'trainlm')
　　net.LW{2,1}=net.LW{2,1}*0.01;
　　net.b{2}=net.b{2}*0.01;