基于改進(jìn)遺傳算法的支持向量機特征選擇

　　引言

　　支持向量機是一種在統計學(xué)習理論的基礎上發(fā)展而來(lái)的機器學(xué)習方法[1]，通過(guò)學(xué)習類(lèi)別之間分界面附近的精確信息,可以自動(dòng)尋找那些對分類(lèi)有較好區分能力的支持向量,由此構造出的分類(lèi)器可以使類(lèi)與類(lèi)之間的間隔最大化,因而有較好的泛化性能和較高的分類(lèi)準確率。由于支持向量機具有小樣本、非線(xiàn)性、高維數、避免局部最小點(diǎn)以及過(guò)學(xué)習現象等優(yōu)點(diǎn)，所以被廣泛運用于故障診斷、圖像識別、回歸預測等領(lǐng)域。但是如果缺少了對樣本進(jìn)行有效地特征選擇，支持向量機在分類(lèi)時(shí)往往會(huì )出現訓練時(shí)間過(guò)長(cháng)以及較低的分類(lèi)準確率，這恰恰是由于支持向量機無(wú)法利用混亂的樣本分類(lèi)信息而引起的，因此特征選擇是分類(lèi)問(wèn)題中的一個(gè)重要環(huán)節。特征選擇的任務(wù)是從原始的特征集合中去除對分類(lèi)無(wú)用的冗余特征以及那些具有相似分類(lèi)信息的重復特征，因而可以有效降低特征維數，縮短訓練時(shí)間，提高分類(lèi)準確率。

　　目前特征選擇的方法主要有主成分分析法、最大熵原理、粗糙集理論等。然而由于這些方法主要依據繁復的數學(xué)理論，在計算過(guò)程中可能存在求導和函數連續性等客觀(guān)限定條件，在必要時(shí)還需要設定用來(lái)指導尋優(yōu)搜索方向的搜索規則。遺傳算法作為一種魯棒性極強的智能識別方法，直接對尋優(yōu)對象進(jìn)行操作，不存在特定數學(xué)條件的限定，具有極好的全局尋優(yōu)能力和并行性;而由于遺傳算法采用概率化的尋優(yōu)方法，所以在自動(dòng)搜索的過(guò)程中可以自主獲取與尋優(yōu)有關(guān)的線(xiàn)索，并在加以學(xué)習之后可以自適應地調整搜索方向，不需要確定搜索的規則。因此遺傳算法被廣泛應用在知識發(fā)現、組合優(yōu)化、機器學(xué)習、信號處理、自適應控制和人工生命等領(lǐng)域。

　　基于改進(jìn)遺傳算法的特征選擇

　　遺傳算法是一種新近發(fā)展起來(lái)的搜索最優(yōu)化算法[2~5]。遺傳算法從任意一個(gè)的初始生物種群開(kāi)始，通過(guò)隨機的選擇、交叉和變異操作，產(chǎn)生一群擁有更適應自然界的新個(gè)體的新一代種群，使得種群的進(jìn)化趨勢向著(zhù)最優(yōu)的方向發(fā)展。圖1中所示的是標準的遺傳算法的流程框圖。

　　傳統的遺傳算法存在早熟收斂、非全局收斂以及后期收斂速度慢的缺點(diǎn)，為此本文提出了一種能夠在進(jìn)化過(guò)程中自適應調節變異率，以及利用模擬退火防止早熟的改進(jìn)遺傳算法，同時(shí)該算法利用敏感度信息可以有效地控制遺傳操作。圖2是改進(jìn)遺傳算法的流程框圖。