干貨：深度學(xué)習 vs 機器學(xué)習 vs 模式識別三種技術(shù)對比

【編者按】本文來(lái)自CMU的博士，MIT的博士后，vision.ai的聯(lián)合創(chuàng )始人Tomasz Malisiewicz的個(gè)人博客文章，閱讀本文，你可以更好的理解計算機視覺(jué)是怎么一回事，同時(shí)對機器學(xué)習是如何隨著(zhù)時(shí)間緩慢發(fā)展的也有個(gè)直觀(guān)的認識。

以下為正文：

本文我們來(lái)關(guān)注下三個(gè)非常相關(guān)的概念（深度學(xué)習、機器學(xué)習和模式識別），以及他們與2015年最熱門(mén)的科技主題（機器人和人工智能）的聯(lián)系。

圖1 人工智能并非將人放入一臺計算機中（圖片來(lái)源于 WorkFusion 的博客）

環(huán)繞四周，你會(huì )發(fā)現不缺乏一些初創(chuàng )的高科技公司招聘機器學(xué)習專(zhuān)家的崗位。而其中只有一小部分需要深度學(xué)習專(zhuān)家。我敢打賭，大多數初創(chuàng )公司都可以從最基本的數據分析中獲益。那如何才能發(fā)現未來(lái)的數據科學(xué)家？你需要學(xué)習他們的思考方式。

三個(gè)與“學(xué)習”高度相關(guān)的流行詞匯

模式識別（Pattern recogniTIon）、機器學(xué)習（machine learning）和深度學(xué)習（deep learning）代表三種不同的思想流派。模式識別是最古老的（作為一個(gè)術(shù)語(yǔ)而言，可以說(shuō)是很過(guò)時(shí)的）。機器學(xué)習是最基礎的（當下初創(chuàng )公司和研究實(shí)驗室的熱點(diǎn)領(lǐng)域之一）。而深度學(xué)習是非常嶄新和有影響力的前沿領(lǐng)域，我們甚至不會(huì )去思考后深度學(xué)習時(shí)代。我們可以看下圖所示的谷歌趨勢圖?？梢钥吹剑?/p>

1）機器學(xué)習就像是一個(gè)真正的冠軍一樣持續昂首而上；

2）模式識別一開(kāi)始主要是作為機器學(xué)習的代名詞；

3）模式識別正在慢慢沒(méi)落和消亡；

4）深度學(xué)習是個(gè)嶄新的和快速攀升的領(lǐng)域。

2004年至今三個(gè)概念的谷歌搜索指數（圖來(lái)源于 谷歌趨勢 ）

1. 模式識別：智能程序的誕生

模式識別是70年代和80年代非常流行的一個(gè)術(shù)語(yǔ)。它強調的是如何讓一個(gè)計算機程序去做一些看起來(lái)很“智能”的事情，例如識別“3”這個(gè)數字。而且在融入了很多的智慧和直覺(jué)后，人們也的確構建了這樣的一個(gè)程序。例如，區分“3”和“B”或者“3”和“8”。早在以前，大家也不會(huì )去關(guān)心你是怎么實(shí)現的，只要這個(gè)機器不是由人躲在盒子里面偽裝的就好（圖2）。不過(guò)，如果你的算法對圖像應用了一些像濾波器、邊緣檢測和形態(tài)學(xué)處理等等高大上的技術(shù)后，模式識別社區肯定就會(huì )對它感興趣。光學(xué)字符識別就是從這個(gè)社區誕生的。因此，把模式識別稱(chēng)為70年代，80年代和90年代初的“智能”信號處理是合適的。決策樹(shù)、啟發(fā)式和二次判別分析等全部誕生于這個(gè)時(shí)代。而且，在這個(gè)時(shí)代，模式識別也成為了計算機科學(xué)領(lǐng)域的小伙伴搞的東西，而不是電子工程。從這個(gè)時(shí)代誕生的模式識別領(lǐng)域最著(zhù)名的書(shū)之一是由Duda Hart執筆的“模式識別（Pattern ClassificaTIon）”。對基礎的研究者來(lái)說(shuō)，仍然是一本不錯的入門(mén)教材。不過(guò)對于里面的一些詞匯就不要太糾結了，因為這本書(shū)已經(jīng)有一定的年代了，詞匯會(huì )有點(diǎn)過(guò)時(shí)。

圖2 一個(gè)字符“3”的圖像被劃分為16個(gè)子塊。

自定義規則、自定義決策，以及自定義“智能”程序在這個(gè)任務(wù)上，曾經(jīng)都風(fēng)靡一時(shí)（更多信息，可以查看這個(gè) OCR 網(wǎng)頁(yè)）

小測試：計算機視覺(jué)領(lǐng)域最著(zhù)名的會(huì )議叫CVPR，這個(gè)PR就是模式識別。你能猜出第一屆CVPR會(huì )議是哪年召開(kāi)的嗎？

2. 機器學(xué)習：從樣本中學(xué)習的智能程序

在90年代初，人們開(kāi)始意識到一種可以更有效地構建模式識別算法的方法，那就是用數據（可以通過(guò)廉價(jià)勞動(dòng)力采集獲得）去替換專(zhuān)家（具有很多圖像方面知識的人）。因此，我們搜集大量的人臉和非人臉圖像，再選擇一個(gè)算法，然后沖著(zhù)咖啡、曬著(zhù)太陽(yáng)，等著(zhù)計算機完成對這些圖像的學(xué)習。這就是機器學(xué)習的思想。“機器學(xué)習”強調的是，在給計算機程序（或者機器）輸入一些數據后，它必須做一些事情，那就是學(xué)習這些數據，而這個(gè)學(xué)習的步驟是明確的。相信我，就算計算機完成學(xué)習要耗上一天的時(shí)間，也會(huì )比你邀請你的研究伙伴來(lái)到你家然后專(zhuān)門(mén)手工得為這個(gè)任務(wù)設計一些分類(lèi)規則要好。

圖3 典型的機器學(xué)習流程（圖來(lái)源于 Natalia KonstanTInova 博士的博客）。

在21世紀中期，機器學(xué)習成為了計算機科學(xué)領(lǐng)域一個(gè)重要的研究課題，計算機科學(xué)家們開(kāi)始將這些想法應用到更大范圍的問(wèn)題上，不再限于識別字符、識別貓和狗或者識別圖像中的某個(gè)目標等等這些問(wèn)題。研究人員開(kāi)始將機器學(xué)習應用到機器人（強化學(xué)習，操控，行動(dòng)規劃，抓?。?、基因數據的分析和金融市場(chǎng)的預測中。另外，機器學(xué)習與圖論的聯(lián)姻也成就了一個(gè)新的課題---圖模型。每一個(gè)機器人專(zhuān)家都“無(wú)奈地”成為了機器學(xué)習專(zhuān)家，同時(shí)，機器學(xué)習也迅速成為了眾人渴望的必備技能之一。然而，“機器學(xué)習”這個(gè)概念對底層算法只字未提。我們已經(jīng)看到凸優(yōu)化、核方法、支持向量機和BoosTIng算法等都有各自輝煌的時(shí)期。再加上一些人工設計的特征，那在機器學(xué)習領(lǐng)域，我們就有了很多的方法，很多不同的思想流派，然而，對于一個(gè)新人來(lái)說(shuō)，對特征和算法的選擇依然一頭霧水，沒(méi)有清晰的指導原則。但，值得慶幸的是，這一切即將改變……

延伸閱讀：要了解更多關(guān)于計算機視覺(jué)特征的知識，可以看看原作者之前的博客文章：“ 從特征描述子到深度學(xué)習：計算機視覺(jué)的20年 ”。

3. 深度學(xué)習：一統江湖的架構

快進(jìn)到今天，我們看到的是一個(gè)奪人眼球的技術(shù)---深度學(xué)習。而在深度學(xué)習的模型中，受寵愛(ài)最多的就是被用在大規模圖像識別任務(wù)中的卷積神經(jīng)網(wǎng)絡(luò )（Convolutional Neural Nets，CNN），簡(jiǎn)稱(chēng)ConvNets。

圖4 ConvNet框架（圖來(lái)源于 Torch的教程）

深度學(xué)習強調的是你使用的模型（例如深度卷積多層神經(jīng)網(wǎng)絡(luò )），模型中的參數通過(guò)從數據中學(xué)習獲得。然而，深度學(xué)習也帶來(lái)了一些其他需要考慮的問(wèn)題。因為你面對的是一個(gè)高維的模型（即龐大的網(wǎng)絡(luò )），所以你需要大量的數據（大數據）和強大的運算能力（圖形處理器，GPU）才能優(yōu)化這個(gè)模型。卷積被廣泛用于深度學(xué)習（尤其是計算機視覺(jué)應用中），而且它的架構往往都是非淺層的。

如果你要學(xué)習Deep Learning，那就得先復習下一些線(xiàn)性代數的基本知識，當然了，也得有編程基礎。我強烈推薦Andrej Karpathy的博文：“ 神經(jīng)網(wǎng)絡(luò )的黑客指南 ”。另外，作為學(xué)習的開(kāi)端，可以選擇一個(gè)不用卷積操作的應用問(wèn)題，然后自己實(shí)現基于CPU的反向傳播算法。

對于深度學(xué)習，還存在很多沒(méi)有解決的問(wèn)題。既沒(méi)有完整的關(guān)于深度學(xué)習有效性的理論，也沒(méi)有任何一本能超越機器學(xué)習實(shí)戰經(jīng)驗的指南或者書(shū)。另外，深度學(xué)習不是萬(wàn)能的，它有足夠的理由能日益流行，但始終無(wú)法接管整個(gè)世界。不過(guò)，只要你不斷增加你的機器學(xué)習技能，你的飯碗無(wú)憂(yōu)。但也不要對深度框架過(guò)于崇拜，不要害怕對這些框架進(jìn)行裁剪和調整，以得到和你的學(xué)習算法能協(xié)同工作的軟件框架。未來(lái)的Linux內核也許會(huì )在Caffe（一個(gè)非常流行的深度學(xué)習框架）上運行，然而，偉大的產(chǎn)品總是需要偉大的愿景、領(lǐng)域的專(zhuān)業(yè)知識、市場(chǎng)的開(kāi)發(fā)，和最重要的：人類(lèi)的創(chuàng )造力。

其他相關(guān)術(shù)語(yǔ)

1）大數據（Big-data）：大數據是個(gè)豐富的概念，例如包含大量數據的存儲，數據中隱含信息的挖掘等。對企業(yè)經(jīng)營(yíng)來(lái)說(shuō)，大數據往往可以給出一些決策的建議。對機器學(xué)習算法而言，它與大數據的結合在早幾年已經(jīng)出現。研究人員甚至任何一個(gè)日常開(kāi)發(fā)人員都可以接觸到云計算、GPU、DevOps和PaaS等等這些服務(wù)。

2）人工智能（Artificial Intelligence）：人工智能應該是一個(gè)最老的術(shù)語(yǔ)了，同時(shí)也是最含糊的。它在過(guò)去50年里經(jīng)歷了幾度興衰。當你遇到一個(gè)說(shuō)自己是做人工智能的人，你可以有兩種選擇：要么擺個(gè)嘲笑的表情，要么抽出一張紙，記錄下他所說(shuō)的一切。

延伸閱讀：原作者2011的博客：“ 計算機視覺(jué)當屬人工智能 ”。

結論

關(guān)于機器學(xué)習的討論在此停留（不要單純的認為它是深度學(xué)習、機器學(xué)習或者模式識別中的一個(gè)，這三者只是強調的東西有所不同），然而，研究會(huì )繼續，探索會(huì )繼續。我們會(huì )繼續構建更智能的軟件，我們的算法也將繼續學(xué)習，但我們只會(huì )開(kāi)始探索那些能真正一統江湖的框架。

如果你也對深度學(xué)習的實(shí)時(shí)視覺(jué)應用感興趣，特別是那些適合機器人和家居智能化的應用，歡迎來(lái)我們的網(wǎng)站 vision.ai 交流。希望未來(lái)，我能說(shuō)的再多一點(diǎn)……

作者簡(jiǎn)介：Tomasz Malisiewicz，CMU的博士，MIT的博士后，vision.ai的聯(lián)合創(chuàng )始人。關(guān)注計算機視覺(jué)，在這個(gè)領(lǐng)域也做了大量的工作。另外，他的博客也富含信息量和價(jià)值，感興趣的可以瀏覽他個(gè)人主頁(yè)和博客。