圖解十大機器學(xué)習算法

來(lái)源：圖靈人工智能、凹凸數據

在機器學(xué)習領(lǐng)域，有種說(shuō)法叫做“世上沒(méi)有免費的午餐”，簡(jiǎn)而言之，它是指沒(méi)有任何一種算法能在每個(gè)問(wèn)題上都能有最好的效果，這個(gè)理論在監督學(xué)習方面體現得尤為重要。

舉個(gè)例子來(lái)說(shuō)，你不能說(shuō)神經(jīng)網(wǎng)絡(luò )永遠比決策樹(shù)好，反之亦然。模型運行被許多因素左右，例如數據集的大小和結構。因此，你應該根據你的問(wèn)題嘗試許多不同的算法，同時(shí)使用數據測試集來(lái)評估性能并選出最優(yōu)項。

當然，你嘗試的算法必須和你的問(wèn)題相切合，其中的門(mén)道便是機器學(xué)習的主要任務(wù)。打個(gè)比方，如果你想打掃房子，你可能會(huì )用到吸塵器、掃帚或者拖把，但你肯定不會(huì )拿把鏟子開(kāi)始挖坑吧。

對于渴望了解機器學(xué)習基礎知識的機器學(xué)習新人來(lái)說(shuō)，這兒有份數據科學(xué)家使用的十大機器學(xué)習算法，為你介紹這十大算法的特性，采用圖解的方式便于大家更好地理解和應用。

線(xiàn)性回歸可能是統計學(xué)和機器學(xué)習中最知名和最易理解的算法之一。

由于預測建模主要關(guān)注最小化模型的誤差，或者以可解釋性為代價(jià)來(lái)做出最準確的預測。我們會(huì )從許多不同領(lǐng)域借用、重用和盜用算法，其中涉及一些統計學(xué)知識。

線(xiàn)性回歸用一個(gè)等式表示，通過(guò)找到輸入變量的特定權重（B），來(lái)描述輸入變量（x）與輸出變量（y）之間的線(xiàn)性關(guān)系。

舉例：y = B0 + B1 * x

給定輸入x，我們將預測y，線(xiàn)性回歸學(xué)習算法的目標是找到系數B0和B1的值。

可以使用不同的技術(shù)從數據中學(xué)習線(xiàn)性回歸模型，例如用于普通最小二乘和梯度下降優(yōu)化的線(xiàn)性代數解。

線(xiàn)性回歸已經(jīng)存在了200多年，并且已經(jīng)進(jìn)行了廣泛的研究。如果可能的話(huà)，使用這種技術(shù)時(shí)的一些經(jīng)驗法則是去除非常相似（相關(guān)）的變量并從數據中移除噪聲。這是一種快速簡(jiǎn)單的技術(shù)和良好的第一種算法。

邏輯回歸是機器學(xué)習從統計領(lǐng)域借鑒的另一種技術(shù)。這是二分類(lèi)問(wèn)題的專(zhuān)用方法（兩個(gè)類(lèi)值的問(wèn)題）。名字上雖然有回歸二字，但其實(shí)上處理的是分類(lèi)問(wèn)題

邏輯回歸與線(xiàn)性回歸類(lèi)似，這是因為兩者的目標都是找出每個(gè)輸入變量的權重值。與線(xiàn)性回歸不同的是，輸出的預測值得使用稱(chēng)為邏輯函數的非線(xiàn)性函數進(jìn)行變換。

邏輯函數看起來(lái)像一個(gè)大S，并能將任何值轉換為0到1的范圍內。這很有用，因為我們可以將相應規則應用于邏輯函數的輸出上，把值分類(lèi)為0和1（例如，如果IF小于0.5，那么 輸出1）并預測類(lèi)別值。

由于模型的特有學(xué)習方式，通過(guò)邏輯回歸所做的預測也可以用于計算屬于類(lèi)0或類(lèi)1的概率。這對于需要給出許多基本原理的問(wèn)題十分有用。

與線(xiàn)性回歸一樣，當你移除與輸出變量無(wú)關(guān)的屬性以及彼此非常相似（相關(guān)）的屬性時(shí)，邏輯回歸確實(shí)會(huì )更好。這是一個(gè)快速學(xué)習和有效處理二元分類(lèi)問(wèn)題的模型。

傳統的邏輯回歸僅限于二分類(lèi)問(wèn)題。如果你有兩個(gè)以上的類(lèi)，那么線(xiàn)性判別分析算法（Linear Discriminant Analysis，簡(jiǎn)稱(chēng)LDA）是首選的線(xiàn)性分類(lèi)技術(shù)。

LDA的表示非常簡(jiǎn)單。它由你的數據的統計屬性組成，根據每個(gè)類(lèi)別進(jìn)行計算。對于單個(gè)輸入變量，這包括：

• 每類(lèi)的平均值。

• 跨所有類(lèi)別計算的方差。

LDA通過(guò)計算每個(gè)類(lèi)的判別值并對具有最大值的類(lèi)進(jìn)行預測來(lái)進(jìn)行。該技術(shù)假定數據具有高斯分布（鐘形曲線(xiàn)），因此最好先手動(dòng)從數據中移除異常值。這是分類(lèi)預測建模問(wèn)題中的一種簡(jiǎn)單而強大的方法。

決策樹(shù)是機器學(xué)習的一種重要算法。

決策樹(shù)模型可用二叉樹(shù)表示。對，就是來(lái)自算法和數據結構的二叉樹(shù)，沒(méi)什么特別。每個(gè)節點(diǎn)代表單個(gè)輸入變量（x）和該變量上的左右孩子（假定變量是數字）。

樹(shù)的葉節點(diǎn)包含用于進(jìn)行預測的輸出變量（y）。預測是通過(guò)遍歷樹(shù)進(jìn)行的，當達到某一葉節點(diǎn)時(shí)停止，并輸出該葉節點(diǎn)的類(lèi)值。

決策樹(shù)學(xué)習速度快，預測速度快。對于許多問(wèn)題也經(jīng)常預測準確，并且你不需要為數據做任何特殊準備。

樸素貝葉斯是一種簡(jiǎn)單但極為強大的預測建模算法。

該模型由兩種類(lèi)型的概率組成，可以直接從你的訓練數據中計算出來(lái)：1）每個(gè)類(lèi)別的概率; 2）給定的每個(gè)x值的類(lèi)別的條件概率。一旦計算出來(lái)，概率模型就可以用于使用貝葉斯定理對新數據進(jìn)行預測。當你的數據是數值時(shí)，通常假設高斯分布（鐘形曲線(xiàn)），以便可以輕松估計這些概率。

樸素貝葉斯被稱(chēng)為樸素的原因，在于它假設每個(gè)輸入變量是獨立的。這是一個(gè)強硬的假設，對于真實(shí)數據來(lái)說(shuō)是不切實(shí)際的，但該技術(shù)對于大范圍內的復雜問(wèn)題仍非常有效。

KNN算法非常簡(jiǎn)單而且非常有效。KNN的模型用整個(gè)訓練數據集表示。是不是特簡(jiǎn)單？

通過(guò)搜索整個(gè)訓練集內K個(gè)最相似的實(shí)例（鄰居），并對這些K個(gè)實(shí)例的輸出變量進(jìn)行匯總，來(lái)預測新的數據點(diǎn)。對于回歸問(wèn)題，新的點(diǎn)可能是平均輸出變量，對于分類(lèi)問(wèn)題，新的點(diǎn)可能是眾數類(lèi)別值。

成功的訣竅在于如何確定數據實(shí)例之間的相似性。如果你的屬性都是相同的比例，最簡(jiǎn)單的方法就是使用歐幾里德距離，它可以根據每個(gè)輸入變量之間的差直接計算。

KNN可能需要大量的內存或空間來(lái)存儲所有的數據，但只有在需要預測時(shí)才會(huì )執行計算（或學(xué)習）。你還可以隨時(shí)更新和管理你的訓練集，以保持預測的準確性。

距離或緊密度的概念可能會(huì )在高維環(huán)境（大量輸入變量）下崩潰，這會(huì )對算法造成負面影響。這類(lèi)事件被稱(chēng)為維度詛咒。它也暗示了你應該只使用那些與預測輸出變量最相關(guān)的輸入變量。

K-近鄰的缺點(diǎn)是你需要維持整個(gè)訓練數據集。學(xué)習矢量量化算法（或簡(jiǎn)稱(chēng)LVQ）是一種人工神經(jīng)網(wǎng)絡(luò )算法，允許你掛起任意個(gè)訓練實(shí)例并準確學(xué)習他們。

LVQ用codebook向量的集合表示。開(kāi)始時(shí)隨機選擇向量，然后多次迭代，適應訓練數據集。

在學(xué)習之后，codebook向量可以像K-近鄰那樣用來(lái)預測。通過(guò)計算每個(gè)codebook向量與新數據實(shí)例之間的距離來(lái)找到最相似的鄰居（最佳匹配），然后返回最佳匹配單元的類(lèi)別值或在回歸情況下的實(shí)際值作為預測。如果你把數據限制在相同范圍（如0到1之間），則可以獲得最佳結果。

如果你發(fā)現KNN在您的數據集上給出了很好的結果，請嘗試使用LVQ來(lái)減少存儲整個(gè)訓練數據集的內存要求。

支持向量機也許是最受歡迎和討論的機器學(xué)習算法之一。

超平面是分割輸入變量空間的線(xiàn)。在SVM中，會(huì )選出一個(gè)超平面以將輸入變量空間中的點(diǎn)按其類(lèi)別（0類(lèi)或1類(lèi)）進(jìn)行分離。在二維空間中可以將其視為一條線(xiàn)，所有的輸入點(diǎn)都可以被這條線(xiàn)完全分開(kāi)。SVM學(xué)習算法就是要找到能讓超平面對類(lèi)別有最佳分離的系數。

超平面和最近的數據點(diǎn)之間的距離被稱(chēng)為邊界，有最大邊界的超平面是最佳之選。同時(shí)，只有這些離得近的數據點(diǎn)才和超平面的定義和分類(lèi)器的構造有關(guān)，這些點(diǎn)被稱(chēng)為支持向量，他們支持或定義超平面。在具體實(shí)踐中，我們會(huì )用到優(yōu)化算法來(lái)找到能最大化邊界的系數值。

SVM可能是最強大的即用分類(lèi)器之一，在你的數據集上值得一試。

隨機森林是最流行和最強大的機器學(xué)習算法之一。它是一種被稱(chēng)為Bootstrap Aggregation或Bagging的集成機器學(xué)習算法。

bootstrap是一種強大的統計方法，用于從數據樣本中估計某一數量，例如平均值。它會(huì )抽取大量樣本數據，計算平均值，然后平均所有平均值，以便更準確地估算真實(shí)平均值。

在bagging中用到了相同的方法，但最常用到的是決策樹(shù)，而不是估計整個(gè)統計模型。

它會(huì )訓練數據進(jìn)行多重抽樣，然后為每個(gè)數據樣本構建模型。當你需要對新數據進(jìn)行預測時(shí)，每個(gè)模型都會(huì )進(jìn)行預測，并對預測結果進(jìn)行平均，以更好地估計真實(shí)的輸出值。

隨機森林是對決策樹(shù)的一種調整，相對于選擇最佳分割點(diǎn)，隨機森林通過(guò)引入隨機性來(lái)實(shí)現次優(yōu)分割。

因此，為每個(gè)數據樣本創(chuàng )建的模型之間的差異性會(huì )更大，但就自身意義來(lái)說(shuō)依然準確無(wú)誤。結合預測結果可以更好地估計正確的潛在輸出值。

如果你使用高方差算法（如決策樹(shù)）獲得良好結果，那么加上這個(gè)算法后效果會(huì )更好。

Boosting是一種從一些弱分類(lèi)器中創(chuàng )建一個(gè)強分類(lèi)器的集成技術(shù)。它先由訓練數據構建一個(gè)模型，然后創(chuàng )建第二個(gè)模型來(lái)嘗試糾正第一個(gè)模型的錯誤。不斷添加模型，直到訓練集完美預測或已經(jīng)添加到數量上限。

AdaBoost是為二分類(lèi)開(kāi)發(fā)的第一個(gè)真正成功的Boosting算法，同時(shí)也是理解Boosting的最佳起點(diǎn)。目前基于A(yíng)daBoost而構建的算法中最著(zhù)名的就是隨機梯度boosting。

AdaBoost常與短決策樹(shù)一起使用。在創(chuàng )建第一棵樹(shù)之后，每個(gè)訓練實(shí)例在樹(shù)上的性能都決定了下一棵樹(shù)需要在這個(gè)訓練實(shí)例上投入多少關(guān)注。難以預測的訓練數據會(huì )被賦予更多的權重，而易于預測的實(shí)例被賦予更少的權重。

模型按順序依次創(chuàng )建，每個(gè)模型的更新都會(huì )影響序列中下一棵樹(shù)的學(xué)習效果。在建完所有樹(shù)之后，算法對新數據進(jìn)行預測，并且通過(guò)訓練數據的準確程度來(lái)加權每棵樹(shù)的性能。

因為算法極為注重錯誤糾正，所以一個(gè)沒(méi)有異常值的整潔數據十分重要。

初學(xué)者在面對各種各樣的機器學(xué)習算法時(shí)提出的一個(gè)典型問(wèn)題是“我應該使用哪種算法？”問(wèn)題的答案取決于許多因素，其中包括：

• 數據的大小，質(zhì)量和性質(zhì)

• 可用的計算時(shí)間

• 任務(wù)的緊迫性

• 你想要對數據做什么

即使是一位經(jīng)驗豐富的數據科學(xué)家，在嘗試不同的算法之前，也無(wú)法知道哪種算法會(huì )表現最好。雖然還有很多其他的機器學(xué)習算法，但這些算法是最受歡迎的算法。如果你是機器學(xué)習的新手，這是一個(gè)很好的學(xué)習起點(diǎn)。