智能安全鍵盤(pán)軟硬件完整方案

　　關(guān)于 delta 規則

　　delta 規則是基于梯度降落這樣一種思路的。在權系數的調整中，神經(jīng)網(wǎng)絡(luò )將會(huì )找到一種將誤差減少到最小的權系數的分配方式。

　　將我們的網(wǎng)絡(luò )限制為沒(méi)有隱藏節點(diǎn)，但是可能會(huì )有不止一個(gè)的輸出節點(diǎn)，設p是一組學(xué)習中的一個(gè)元素，t(p,n)是相應的輸出節點(diǎn)n的目標。設y(p,n)由以上提到的squash函數s決定，這里a(p,n)是與p相關(guān)的n的激活函數，或者用(p,n)=s(a(p,n))表示為與p相關(guān)的節點(diǎn)n的squash過(guò)的激活函數。為網(wǎng)絡(luò )設定權系數(每個(gè)Wi)，也為每個(gè)p和n建立t(p,n)與y(p,n)的差分，這就意味著(zhù)為每個(gè)p設定了網(wǎng)絡(luò )全部的誤差。因此對于每組權系數來(lái)說(shuō)有一個(gè)平均誤差。但是delta規則取決于求平均值方法的精確度以及誤差。對于每個(gè)Wi，平均誤差定義如下：

　　sum = 0

　　FOR p = 1 TO M: # M is number of training vectors

　　FOR n = 1 TO N: # N is number of output nodes

　　sum = sum + (1/2 * (t(p,n)-y(p,n))^2)

　　average = 1/M * sum

　　delta規則就是依據這個(gè)誤差的定義來(lái)定義的。因為誤差是依據那些學(xué)習向量來(lái)說(shuō)明的，delta規則是一種獲取一個(gè)特殊的權系數集以及一個(gè)特殊的向量的算法。而改變權系數將會(huì )使神經(jīng)網(wǎng)絡(luò )的誤差最小化。任何Wi發(fā)生的變化都如下所示：alpha*s'(a(p,n))*(t(p,n)-y(p,n))*X(p,i,n)。

　　X(p,i,n)是輸入到節點(diǎn)n的p中的第i個(gè)元素，alpha是已知的學(xué)習率。最后s'(a(p,n))是與p相關(guān)的第n個(gè)節點(diǎn)激活的squashing函數的變化(派生)率，這就是delta規則，并且當alpha非常小的時(shí)候，權系數向量接近某個(gè)將誤差最小化的向量。用于權系數調節的基于delta規則的算法就是如此。

　　梯度降落(直到誤差小到適當的程度為止)如下：

　　step 1: for each training vector, p, find a(p)

　　step 2: for each i, change Wi by:

　　alpha * s'(a(p,n)) * (t(p,n)-y(p,n)) * X(p,i,n)

　　delta規則算法總是在權系數上調整，而且這是建立在相對輸出的激活方式上，不一定適用于存在隱藏節點(diǎn)的網(wǎng)絡(luò )。

　　反向傳播

　　反向傳播這一算法把支持delta規則的分析擴展到了帶有隱藏節點(diǎn)的神經(jīng)網(wǎng)絡(luò )。當輸出節點(diǎn)從隱藏節點(diǎn)獲得輸入，網(wǎng)絡(luò )發(fā)現出現了誤差，權系數的調整可以通過(guò)一個(gè)算法來(lái)找出整個(gè)誤差是由多少不同的節點(diǎn)造成的，具體方法如下：

　　“代碼識別”反向傳播的神經(jīng)網(wǎng)絡(luò )

　　反向傳播算法同樣來(lái)源于梯度降落原理，在權系數調整分析中的唯一不同是涉及到t(p,n)與y(p,n)的差分。通常來(lái)說(shuō)Wi的改變在于：

　　alpha * s'(a(p,n)) * d(n) * X(p,i,n)

　　其中d(n)是隱藏節點(diǎn)n的函數。一方面，n影響輸出節點(diǎn)越多，n造成網(wǎng)絡(luò )整體的誤差也越多。另一方面，如果輸出節點(diǎn)影響網(wǎng)絡(luò )整體的誤差越少，n對輸出節點(diǎn)的影響也相應減少。這里d(j)是對網(wǎng)絡(luò )的整體誤差的基值，W(n,j)是n對j造成的影響，d(j)*W(n,j)是這兩種影響的總和。但是n幾乎總是影響多個(gè)輸出節點(diǎn)，也許會(huì )影響每一個(gè)輸出結點(diǎn)，這樣，d(n)可以表示為：SUM(d(j)*W(n,j))

　　這里j是一個(gè)從n獲得輸入的輸出節點(diǎn)，聯(lián)系起來(lái)，我們就得到了一個(gè)學(xué)習規則。

　　第1部分：在隱藏節點(diǎn)n和輸出節點(diǎn)j之間權系數改變，如下所示：

　　alpha * s'(a(p,n))*(t(p,n) - y(p,n)) * X(p,n,j)

　　第2部分：在輸入節點(diǎn)i和輸出節點(diǎn)n之間權系數改變，如下所示：

　　alpha * s'(a(p,n)) * sum(d(j) * W(n,j)) * X(p,i,n)

　　這里每個(gè)從n接收輸入的輸出節點(diǎn)j都不同。關(guān)于反向傳播算法的基本情況大致如此。

　　將Wi初始化為小的隨機值。

　　使誤差小到適當的程度要遵循的步驟如下：

　　第1步：輸入學(xué)習向量;

　　第2步：計算隱藏節點(diǎn)的輸出;

　　第3步：在第2步的基礎上計算輸出節點(diǎn)的輸出;

　　第4步：計算第3步所得的結果和期望值之間的差;

　　第5步：把第4步的結果填入學(xué)習規則的第1部分;

　　第6步：對于每個(gè)隱藏節點(diǎn)n，計算d(n);

　　第7步：把第6步的結果填入學(xué)習規則的第2部分。

　　通常把第1步到第3步稱(chēng)為正向傳播，把第4步到第7步稱(chēng)為反向傳播。

　　至此，我們已經(jīng)成功地通過(guò)神經(jīng)網(wǎng)絡(luò )算法對用戶(hù)需要分類(lèi)的術(shù)語(yǔ)示例進(jìn)行了正向學(xué)習，對用戶(hù)需要驗證的數據進(jìn)行了識別，并且對經(jīng)過(guò)驗證的數據進(jìn)行了反向傳播學(xué)習。

　　(二)實(shí)現原理

　　使用Xilinx Spartan 3E Starter-kit的開(kāi)發(fā)板開(kāi)發(fā)應用程序的過(guò)程大致分為兩部分——硬件和軟件。

　?、庇布糠?。借助Xilinx Platform Studio 9.1i with SP2(一下簡(jiǎn)稱(chēng)為XPS)良好的界面和易用性，我們借助其自帶的IP核實(shí)現大部分開(kāi)發(fā)板上設備的驅動(dòng)，但是由于我們的項目要用到PS/2鍵盤(pán)、A/D轉換器以及CC2420射頻板等相應的IP核并沒(méi)有附帶在XPS中的設備，因此我們正在完成這些設備的IP核的設計，以便搭起我們所需要的硬件平臺。

　?、曹浖糠?。通過(guò)XPS中附帶的Xilinx Platform Studio SDK(以下簡(jiǎn)稱(chēng)為XPSSDK)組件，我們使用C語(yǔ)言完成我們的項目的核心部分的設計。XPSSDK的外殼實(shí)際上使用的是開(kāi)源軟件Eclipse，其友好的界面可以極大方便我們的項目的開(kāi)發(fā)。軟件核心部分分為信號處理模塊和密碼處理模塊。其中，信號處理模塊采用神經(jīng)網(wǎng)絡(luò )算法，密碼處理模塊采用混沌算法。

　?、判盘柼幚砟K

　　信號采集部分主要采集三個(gè)系數：按鍵時(shí)間長(cháng)短、按鍵時(shí)間間隔和力感模擬信號。其中前兩個(gè)系數可以通過(guò)按鍵產(chǎn)生的通碼和斷碼得到(每個(gè)通碼和下一個(gè)斷碼之間構成一個(gè)按鍵時(shí)間長(cháng)短，每個(gè)斷碼與下一個(gè)通碼之間構成一個(gè)按鍵時(shí)間間隔)，力感模擬信號可以通過(guò)綁定在每個(gè)按鍵下面的力度傳感器采集到。

　　若用TH(i)表示第i個(gè)鍵按下的持續時(shí)間(Hold-time，即按鍵時(shí)間長(cháng)短),則TH(i)=Trelease(i) -Tpress(i),Tpress(i)表示第i個(gè)鍵的按下時(shí)刻,Trelease(i)表示第i個(gè)鍵抬起的時(shí)刻。令TL(i,i+1)表示連續敲擊第i個(gè)鍵和第i+1個(gè)鍵的時(shí)間間隔。則TL(i,i+1)=Tpress(i+1) -Trelease(i)。對于我們采集到的力感系數，每按鍵一次產(chǎn)生一個(gè)相關(guān)力度模擬信號，經(jīng)Spartan 3E開(kāi)發(fā)板上的A/D轉換器將其轉化為數字信號，得到相應的力感值TM(i)。若用戶(hù)口令由n個(gè)字符組成,則最后我們得到一個(gè)3n-1維的信號采集特征向量[TH(1), TM(1),TL(1,2),TH(2), TM(2),TL(2,3),TH(3), TM(3),……,TL(n-1,n),TH(n) , TM(n)]。

　　然后我們將這些特征向量作為BP神經(jīng)網(wǎng)絡(luò )的輸入層神經(jīng)元，使用BP算法通過(guò)一邊向后傳播誤差,一邊修正誤差的方法來(lái)不斷調節網(wǎng)絡(luò )參數(權值或閾值),以實(shí)現或逼近所希望的輸入輸出映射關(guān)系，最后得以對合法用戶(hù)的身份進(jìn)行辨別。