在線(xiàn)極限學(xué)習機及其在圖像識別中的應用

　　摘要：針對海量圖像數據的識別問(wèn)題，本文提出了在線(xiàn)極限學(xué)習機(online optimized ELM，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡(luò )(single hidden layer feed forward networks，SLFNs)為基礎，固定了隱含節點(diǎn)數以及節點(diǎn)參數，在在線(xiàn)增量學(xué)習過(guò)程中綜合考慮歷史數據和新數據，產(chǎn)生全局唯一的最優(yōu)解，降低了計算資源的需求，繼承了極限學(xué)習機(Extreme Learning Machine，ELM)學(xué)習速度快泛化性能好的優(yōu)點(diǎn)。因此非常適合于海量圖像數據的在線(xiàn)學(xué)習問(wèn)題。在公開(kāi)圖像數據集Caltech4和Scene13上的實(shí)驗表明，本文提出的方法取得了與前沿離線(xiàn)識別方法性能相當的識別效果，與基于SVM的在線(xiàn)學(xué)習方法LA-SVM相比，在參數規模、參數調節以及學(xué)習算法效率方面具有明顯優(yōu)勢。

　　引言

　　隨著(zhù)科學(xué)技術(shù)尤其是多媒體技術(shù)的進(jìn)步與發(fā)展，人們生活中觸手可及的圖像數據呈現出爆炸式的增長(cháng)趨勢。然而，由于圖像底層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝，目前圖像內容分析和識別技術(shù)的發(fā)展遠遠落后于圖像數據的增長(cháng)速度。面對如此海量的圖像數據，現有的圖像分類(lèi)模型和方法在計算效率和泛化能力方面面臨嚴峻挑戰。

　　雖然神經(jīng)網(wǎng)絡(luò )、支持向量機、核學(xué)習等學(xué)習已在圖像分析領(lǐng)域取得了廣泛的應用，但這些方法的訓練算法復雜度較大，學(xué)習時(shí)間過(guò)長(cháng)，并不適合于大型數據集。在單隱層前饋神經(jīng)網(wǎng)絡(luò )基礎上，我們提出了在線(xiàn)極限學(xué)習機(Online Optimized Extreme Learning Machine，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡(luò )SLFNs為基礎，繼承了極限學(xué)習機(Extreme Learning Machine，ELM)[3]不需要調整網(wǎng)絡(luò )的輸入權值以及隱元的偏置，學(xué)習速度快泛化性能好的優(yōu)點(diǎn);另一方面，OP-ELM通過(guò)將歷史數據知識固化到隱含節點(diǎn)輸出矩陣中，降低了計算資源的要求，綜合考慮歷史數據和新數據，產(chǎn)生全局唯一的最優(yōu)解。

　　本文后續內容的組織結構如下：第一章介紹圖像分類(lèi)問(wèn)題中，極限學(xué)習機的模型及方法的背景知識;第二章給出本文提出的在線(xiàn)極限學(xué)習機模型及訓練方法;第三章是實(shí)驗設定及實(shí)驗結果分析;第四章對本文進(jìn)行了小結。