機器學(xué)習算法分類(lèi)

機器學(xué)習是計算機理論和計算電子學(xué)的未來(lái)。在過(guò)去十年中，機器學(xué)習、深度學(xué)習和人工智能的進(jìn)步改變了計算能力的使用方式。將來(lái)，開(kāi)發(fā)人員可能不會(huì )編寫(xiě)特定的用戶(hù)定義程序。相反，他們將編造算法讓計算機獨立執行分配的任務(wù)。計算機、微控制器和專(zhuān)用處理器將不會(huì )運行預定義的軟件/固件例程。相反，它們將成為觀(guān)察、學(xué)習和自主完成有價(jià)值任務(wù)的實(shí)時(shí)機器。

機器學(xué)習和人工智能旨在使計算機和微控制器成為具有類(lèi)似人類(lèi)認知能力的自主機器。機器學(xué)習作為狹義的人工智能，現在被廣泛應用于所有平臺和應用程序，包括網(wǎng)絡(luò )服務(wù)器、桌面應用程序、移動(dòng)應用程序和嵌入式系統。

我們已經(jīng)討論過(guò)，要開(kāi)始機器學(xué)習，需要選擇一種編程語(yǔ)言。我們還討論了每種編程語(yǔ)言在一個(gè)或另一個(gè)業(yè)務(wù)領(lǐng)域中也占主導地位。然而，編程語(yǔ)言的選擇仍然無(wú)關(guān)緊要，因為無(wú)論選擇何種編程語(yǔ)言或語(yǔ)言特定的工具、包或框架，機器學(xué)習問(wèn)題和算法的概念仍然是基本的。Python 是初學(xué)者最友好的編程語(yǔ)言，可以幫助初學(xué)者開(kāi)始使用機器學(xué)習和深度學(xué)習解決方案。Python 在語(yǔ)法上很簡(jiǎn)單，并且擁有經(jīng)過(guò)時(shí)間考驗的工具和框架來(lái)解決任何機器學(xué)習問(wèn)題。Pythonic 機器學(xué)習甚至可以應用于運行在微型計算機和微控制器上的簡(jiǎn)單設備。

下一步是學(xué)習使用所選編程語(yǔ)言的工具、庫和框架進(jìn)行機器學(xué)習。這些工具和包通常與準備數據集、獲取數據集（從傳感器數據、在線(xiàn)數據流、CSV 文件或數據庫）、清理數據（稱(chēng)為數據整理）、歸納和規范化數據集、數據可視化以及最終應用學(xué)習數據有關(guān)到機器學(xué)習模型，該模型可能遵循一種或多種機器學(xué)習算法。

在本文中，我們將討論對各種機器學(xué)習算法進(jìn)行分類(lèi)，這樣可以更輕松地選擇特定算法或推導出適用于給定問(wèn)題的算法列表。ML 算法的分類(lèi)在任何方面都不是基礎的。它是一種任意分類(lèi)，經(jīng)常隨著(zhù)新算法的發(fā)明和機器學(xué)習技術(shù)的進(jìn)一步發(fā)展而改變。盡管如此，分類(lèi)有助于廣泛理解各種算法，并更清楚地了解它們對不同機器學(xué)習問(wèn)題的適用性。

機器學(xué)習算法最廣泛的分類(lèi)是基于機器學(xué)習技術(shù)完成的。這也可以作為算法的基本分類(lèi)，因為幾乎所有種類(lèi)的算法本質(zhì)上都屬于以下四種機器學(xué)習技術(shù)之一。

1. 監督學(xué)習

2. 無(wú)監督學(xué)習

3. 半監督學(xué)習

4. 強化學(xué)習

在監督學(xué)習中，機器有望提供已知結果。訓練數據已經(jīng)提供了預定義的標簽或結果。該算法必須識別引用預定義標簽/結果的訓練數據之間的匹配特征或共同特征。訓練后，將相同的特征/屬性與標簽未知數據進(jìn)行比較。

例如，可以為微型計算機提供溫度、光照和濕度的傳感器數據集。然后，可以對其進(jìn)行建模以預測白天或黑夜或估計一天中的時(shí)間。在這種情況下，與典型的嵌入式程序例程相比，機器學(xué)習模型更有可能提出傳感器故障和傳感器變化，因為機器可以通過(guò)嚴格的監督學(xué)習過(guò)程自主處理錯誤的輸入數據。經(jīng)過(guò)全面的測試和驗證過(guò)程后，模型被認為是可部署的

監督學(xué)習通常解決的兩個(gè)最常見(jiàn)的學(xué)習問(wèn)題是分類(lèi)和回歸。分類(lèi)處理使用預定義標簽標記輸入數據?；貧w處理基于訓練數據和已知結果之間的學(xué)習相關(guān)性來(lái)推導未知輸入數據的結果。導出的結果是數值或結果。

一些屬于監督學(xué)習的常見(jiàn)機器學(xué)習算法包括 K 最近鄰、隨機森林、邏輯回歸、決策樹(shù)和反向傳播神經(jīng)網(wǎng)絡(luò )。

在無(wú)監督學(xué)習中，機器預計會(huì )產(chǎn)生未知的結果。機器暴露于未標記的原始數據樣本，它必須推斷出輸入數據中存在的結構。這通常是通過(guò)提取相似性或去除冗余來(lái)在數學(xué)上完成的。機器學(xué)習的結果不是類(lèi)別/標簽或數字輸出；相反，輸出是通過(guò)對相似的數據樣本進(jìn)行分組或識別奇數樣本來(lái)提供的。

通過(guò)無(wú)監督學(xué)習解決的一些常見(jiàn)問(wèn)題是聚類(lèi)、關(guān)聯(lián)規則挖掘和降維。屬于無(wú)監督學(xué)習的一些常見(jiàn)機器學(xué)習算法包括 K-均值聚類(lèi)、Apriori 算法、KNN、層次聚類(lèi)、奇異值分解、異常檢測、主成分分析、神經(jīng)網(wǎng)絡(luò )和獨立成分分析。

在半監督學(xué)習中，機器使用標記的數據集進(jìn)行訓練，然后暴露于未知數據樣本，以推導屬于同一類(lèi)的數據之間的共同特征/關(guān)聯(lián)?；蛘?，機器首先在未標記的數據上進(jìn)行訓練以派生出自己的類(lèi)別，然后通過(guò)提供標記的數據集來(lái)改進(jìn)訓練。在這兩種情況下，機器都必須預測預期結果（類(lèi)別或數值）以及推斷輸入數據中的固有模式。半監督學(xué)習也處理與監督學(xué)習相同的問(wèn)題（即分類(lèi)和回歸），盡管半監督學(xué)習的結果有望更好。

屬于半監督學(xué)習的一些常見(jiàn)機器學(xué)習算法包括連續性假設、生成模型、拉普拉斯正則化、聚類(lèi)假設、啟發(fā)式方法、低密度分離、離散正則化、標簽傳播、二次準則和流形假設。

在強化學(xué)習中，開(kāi)發(fā)了一個(gè)稱(chēng)為代理的系統以在特定環(huán)境中進(jìn)行交互，以便其執行某些任務(wù)的性能從交互中得到提高。代理從一組預定義的初始策略、規則或策略開(kāi)始，然后暴露于特定環(huán)境以觀(guān)察環(huán)境及其當前狀態(tài)?；趯Νh(huán)境的感知，它選擇最佳策略/策略并執行操作。為響應每個(gè)動(dòng)作，代理會(huì )以獎勵或懲罰的形式從環(huán)境中獲得反饋。它使用懲罰/獎勵來(lái)更新其策略/策略，并再次與環(huán)境交互以重復操作。

屬于強化學(xué)習的一些常見(jiàn)機器學(xué)習算法包括 Q-Learning (State-Action-Reward-State)、SARSA (
State-Action-Reward-State-Action)、Lambda Q-Learning、Lambda SARSA、Deep Q Network , NAF (Normalized Advantage Functions), DDPG (Deep Determinant Policy Gradient), TD3 (Twin Delayed Deep Deterministic Policy Gradient), PPO (Proximal Policy Optimization), A3C (Asynchronous Advantage Actor-Critic Algorithm), SAC (Soft Actor Critic),和 TRPO（Trust Religion Policy Optimization）。

基于學(xué)習技術(shù)的 ML 算法分類(lèi)可以根據它們的功能或相似性進(jìn)行篩選，給出可用于特定學(xué)習問(wèn)題的可能算法列表。為特定問(wèn)題選擇特定算法的其余部分取決于入圍算法的內在細節和工作原理，以及開(kāi)發(fā)人員自己對哪種算法最適合給定問(wèn)題的判斷。機器學(xué)習算法可以根據功能或相似性入圍如下。

這些是專(zhuān)門(mén)應用貝葉斯定理解決監督學(xué)習問(wèn)題（即分類(lèi)或回歸）的算法。屬于這一類(lèi)別的一些算法包括樸素貝葉斯、平均單相關(guān)估計器 (AODE)、高斯樸素貝葉斯、多項樸素貝葉斯、貝葉斯網(wǎng)絡(luò ) (BN) 和貝葉斯信念網(wǎng)絡(luò ) (BNN)。

回歸算法的重點(diǎn)是根據輸入數據導出數值輸出。機器根據已知結果的數據進(jìn)行訓練。訓練完成后，機器會(huì )嘗試通過(guò)冗余測量結果預測中的錯誤來(lái)改善結果?；貧w基本上是一個(gè)機器學(xué)習問(wèn)題和統計方法，也是一種算法。屬于此類(lèi)的一些算法包括線(xiàn)性回歸、逐步回歸、邏輯回歸、普通最小二乘回歸、局部估計散點(diǎn)圖平滑 (LOSS) 和多元自適應回歸樣條 (MARS)。

基于實(shí)例的算法通常用于解決分類(lèi)問(wèn)題。樣本訓練數據存儲在數據庫中，通過(guò)使用各種相似性度量，將輸入數據樣本與存儲的實(shí)例進(jìn)行比較。當存儲的實(shí)例被標記時(shí)，那些與給定實(shí)例最匹配的實(shí)例被分配到與輸入數據樣本相同的類(lèi)。這也稱(chēng)為基于記憶的學(xué)習。屬于此類(lèi)的一些算法包括 K 最近鄰 (KNN)、自組織映射 (SOM)、學(xué)習向量量化 (LVQ)、支持向量機 (SVM) 和局部加權學(xué)習 (LWL)。

正則化算法類(lèi)似于回歸算法，盡管它們有根據模型的復雜性對模型進(jìn)行懲罰的規定。這樣的算法在概括結果方面非常出色。屬于此類(lèi)的一些常見(jiàn)算法包括最小絕對收縮和選擇算子 (LASSO)、最小角度回歸 (LARS)、嶺回歸和彈性網(wǎng)絡(luò )。

在決策樹(shù)算法中，匹配輸入數據的特定和明確定義的屬性以最終得出決策。這些算法非?？焖偾腋叨葴蚀_，因為決策是根據明確定義的參數逐步做出的。這些算法用于機器人分類(lèi)和回歸問(wèn)題。屬于此類(lèi)的一些常見(jiàn)算法包括決策樹(shù)樁、條件決策樹(shù)、分類(lèi)和回歸樹(shù) (CART)、M5、C4.5、C5.0、迭代二分法 3 (ID3) 和卡方自動(dòng)交互檢測（柴德）。

聚類(lèi)算法通常旨在解決分類(lèi)問(wèn)題。然而，這些算法經(jīng)過(guò)調整以處理未標記的數據。他們專(zhuān)注于提取數據樣本的固有模式，并將數據樣本分組到不同的類(lèi)中。屬于此類(lèi)的一些常見(jiàn)算法包括 K-Means、K-Medians、層次聚類(lèi)和期望最大化 (EM)。

降維算法類(lèi)似于聚類(lèi)算法。不同之處在于這些算法不會(huì )嘗試在不同的標簽下對數據進(jìn)行分類(lèi)。相反，這些算法專(zhuān)注于探索內在模式，以簡(jiǎn)化和總結數據點(diǎn)。這些算法用于解決分類(lèi)和回歸問(wèn)題。屬于此類(lèi)的一些常見(jiàn)算法包括 Sammon 映射、主成分分析 (PCA)、主成分回歸 (PCR)、投影追蹤、偏最小二乘回歸 (PLSR)、多維縮放、線(xiàn)性判別分析 (LDA)、二次方判別分析 (QDA)、混合判別分析 (MDA) 和靈活判別分析 (FDA)。

這些算法側重于推導控制數據變量之間關(guān)系的規則。最流行的關(guān)聯(lián)規則學(xué)習算法是 Eclat 算法和 Apriori 算法。

這些算法基于人工神經(jīng)網(wǎng)絡(luò ) (ANN) 的使用，用于解決分類(lèi)和回歸問(wèn)題。人工神經(jīng)網(wǎng)絡(luò )是由多層組成的數據結構，其中包括輸入層、輸出層和一個(gè)或多個(gè)隱藏層。隱藏層操縱輸入數據以導出數據樣本的有用表示。在多個(gè)隱藏層中調整表示，直到在輸入數據和輸出值之間建立適當的關(guān)聯(lián)?；镜?ANN 算法包括感知器、反向傳播、Hopfield 網(wǎng)絡(luò )、多層感知器、隨機梯度下降和徑向基函數網(wǎng)絡(luò )。實(shí)際上，有數百種這樣的算法。ANN 的靈感來(lái)自于生物神經(jīng)網(wǎng)絡(luò )的功能，并且具有相似的結構。

深度學(xué)習算法也使用人工神經(jīng)網(wǎng)絡(luò )；但是，它們不同于傳統的基于 ANN 的算法。深度學(xué)習算法經(jīng)過(guò)調整以執行大量簡(jiǎn)單計算。這些算法通常處理模擬數據，例如圖像、視頻、文本和傳感器值。一些流行的深度學(xué)習算法包括卷積神經(jīng)網(wǎng)絡(luò ) (CNN)、遞歸神經(jīng)網(wǎng)絡(luò ) (RNN)、深度信念網(wǎng)絡(luò ) (DBN)、長(cháng)短期記憶網(wǎng)絡(luò ) (LSTM)、深度玻爾茲曼機 (DBM) 和堆疊自動(dòng)編碼器。

在這些算法中，多個(gè)模型被獨立訓練，并將它們的結果組合起來(lái)得出最終結果。它們非常強大，因為多個(gè)模型被仔細組合以最大限度地提高整體準確性和性能。屬于此類(lèi)別的一些算法包括隨機 Forrest、梯度提升機 (GBM)、加權平均混合、自舉聚合或裝袋、梯度提升回歸樹(shù) (GBRT)、堆疊、AdaBoost 和提升。

有數百種算法可用，選擇一種機器學(xué)習算法來(lái)解決給定問(wèn)題可能是一項艱巨的任務(wù)。通過(guò)首先了解機器學(xué)習的性質(zhì)或機器學(xué)習技術(shù)，選擇變得更簡(jiǎn)單?？梢酝ㄟ^(guò)列出所需功能或任務(wù)的算法來(lái)進(jìn)一步細化對適當算法的搜索。從那里開(kāi)始，必須考慮適用性、優(yōu)點(diǎn)、缺點(diǎn)和可用資源以選擇正確的算法。