人工智能之PCA算法

　　PCA算法本質(zhì)：

　　PCA算法本質(zhì)就是找一些投影方向，使得數據在這些投影方向上的方差最大，而且這些投影方向是相互正交的。這其實(shí)就是找新的正交基的過(guò)程，計算原始數據在這些正交基上投影的方差，方差越大，就說(shuō)明在對應正交基上包含了更多的信息量。原始數據協(xié)方差矩陣的特征值越大，對應的方差越大，在對應的特征向量上投影的信息量就越大。反之，如果特征值較小，則說(shuō)明數據在這些特征向量上投影的信息量很小，可以將小特征值對應方向的數據刪除，從而達到了降維的目的。

　　PCA把可能具有相關(guān)性的高維變量合成線(xiàn)性無(wú)關(guān)的低維變量，稱(chēng)為主成分( principal components)。新的低維數據集會(huì )盡可能保留原始數據的變量。

　　簡(jiǎn)而言之，PCA本質(zhì)上是將方差最大的方向作為主要特征，并且在各個(gè)正交方向上將數據“離相關(guān)”，也就是讓它們在不同正交方向上沒(méi)有相關(guān)性。

　　PCA算法中術(shù)語(yǔ)：

　　1、樣本“信息量”

　　樣本的“信息量”指的是樣本在特征方向上投影的方差。方差越大，則樣本在該特征上的差異就越大，因此該特征就越重要。在分類(lèi)問(wèn)題里，樣本的方差越大，越容易將不同類(lèi)別的樣本區分開(kāi)。

　　2、方差

　　希望投影后投影值盡可能分散，而這種分散程度，可以用數學(xué)上的方差來(lái)表述。在統計描述中，方差用來(lái)計算每一個(gè)變量(觀(guān)察值)與總體均數之間的差異。此處，一個(gè)字段的方差可以看做是每個(gè)元素與字段均值的差的平方和的均值，即：

　　3、協(xié)方差

　　對于二維降成一維的問(wèn)題來(lái)說(shuō)，找到使得方差最大的方向就可以了。但是對于更高維的問(wèn)題，需要用到協(xié)方差來(lái)表示其相關(guān)性。即：

　　PCA理論基礎：

　　PCA理論基礎如下：

　　1)最大方差理論。

　　2)最小錯誤理論。

　　3)坐標軸相關(guān)度理論。

　　PCA算法流程：

　　1)去平均值，即每一位特征減去各自的平均值;

　　2)計算協(xié)方差矩陣;

　　3)計算協(xié)方差矩陣的特征值與特征向量;

　　4)對特征值從大到小排序;

　　5)保留最大的個(gè)特征向量;

　　6)將數據轉換到個(gè)特征向量構建的新空間中。

　　PCA降維準則：

　　1) 最近重構性：樣本集中所有點(diǎn)，重構后的點(diǎn)距離原來(lái)的點(diǎn)的誤差之和最小。

　　2) 最大可分性：樣本在低維空間的投影盡可能分開(kāi)。

　　PCA算法優(yōu)點(diǎn)：

　　1)使得數據集更易使用;

　　2)降低算法的計算開(kāi)銷(xiāo);

　　3)去除噪聲;

　　4)使得結果容易理解;

　　5)完全無(wú)參數限制。

　　PCA算法缺點(diǎn)：

　　1) 如果用戶(hù)對觀(guān)測對象有一定的先驗知識，掌握了數據的一些特征，卻無(wú)法通過(guò)參數化等方法對處理過(guò)程進(jìn)行干預，可能會(huì )得不到預期的效果，效率也不高;

　　2) 特征值分解有一些局限性，比如變換的矩陣必須是方陣;

　　3) 在非高斯分布情況下，PCA方法得出的主元可能并不是最優(yōu)的。

　　PCA算法應用：

　　PCA算法已經(jīng)被廣泛的應用于高維數據集的探索與可視化，還可以用于數據壓縮，數據預處理等領(lǐng)域。在機器學(xué)習當中應用很廣，比如圖像，語(yǔ)音，通信的分析處理。PCA算法最主要的用途在于“降維”，去除掉數據的一些冗余信息和噪聲，使數據變得更加簡(jiǎn)單高效，提高其他機器學(xué)習任務(wù)的計算效率。

　　結語(yǔ)：

　　PCA是一種常用的數據分析方法。PCA通過(guò)線(xiàn)性變換將原始數據變換為一組各維度線(xiàn)性無(wú)關(guān)的表示，可用于識別和提取數據的主要特征分量，通過(guò)將數據坐標軸旋轉到數據角度上那些最重要的方向(方差最大);然后通過(guò)特征值分析，確定出需要保留的主成分個(gè)數，舍棄其他非主成分，從而實(shí)現數據的降維。降維使數據變得更加簡(jiǎn)單高效，從而實(shí)現提升數據處理速度的目的，節省大量的時(shí)間和成本。降維也成為了應用非常廣泛的數據預處理方法。PCA算法已經(jīng)被廣泛的應用于高維數據集的探索與可視化，還可以用于數據壓縮，數據預處理，圖像，語(yǔ)音，通信的分析處理等領(lǐng)域。