一文讀懂深度學(xué)習中的熱點(diǎn)問(wèn)題

　　2012年多倫多大學(xué)的研究人員首次使用深度學(xué)習在ImageNet大規模視覺(jué)識別挑戰賽中獲勝，深度學(xué)習漸漸被人們所熟知。而對于A(yíng)I行業(yè)的從業(yè)者來(lái)說(shuō)，深度學(xué)習下的計算機視覺(jué)，是使計算機能夠理解圖像背景的一門(mén)重要學(xué)科，也是人工智能中最具挑戰性的領(lǐng)域之一。目前，國內計算機視覺(jué)飛速發(fā)展，有了曠視科技face++、商湯科技、極鏈科技Video++等優(yōu)質(zhì)企業(yè)。那么，深度學(xué)習究竟是什么呢?本文將詳細的解釋當前深度學(xué)習下的兩個(gè)熱點(diǎn)問(wèn)題。

　　深度學(xué)習這一想法本身并不新穎，早在1959年就被討論過(guò)。當時(shí)受限于算法、硬件水平及數據量的限制，沒(méi)有得到很好的發(fā)展。近60年，隨著(zhù)硬件水平的不斷提升，數據量的爆炸式增長(cháng)，深度學(xué)習再一次煥發(fā)出勃勃生機，并展現出優(yōu)異的性能。

　　而計算機視覺(jué)領(lǐng)域中關(guān)鍵的深度學(xué)習，也成為了被關(guān)注的焦點(diǎn)。人工神經(jīng)網(wǎng)絡(luò )的概念是深度學(xué)習算法的主要組成部分，已經(jīng)存在數十年，第一個(gè)神經(jīng)網(wǎng)絡(luò )可以追溯到20世紀50年代。由于數十年的研究以及數據和計算資源的可用性，深度學(xué)習的概念已經(jīng)從實(shí)驗室走出并進(jìn)入實(shí)際領(lǐng)域。

　　那么深度學(xué)習和機器學(xué)習是一回事么?

　　深度學(xué)習是一個(gè)非常復雜的計算機科學(xué)領(lǐng)域，它涉及許多高級數學(xué)概念。但在過(guò)去幾年中，學(xué)術(shù)界已經(jīng)創(chuàng )建了大量的工具和庫來(lái)抽象出潛在的復雜性，并使你能夠無(wú)須解決過(guò)多的數學(xué)問(wèn)題來(lái)開(kāi)發(fā)深度學(xué)習模型。

　　深度學(xué)習和機器學(xué)習并不相同，深度學(xué)習是機器學(xué)習的一個(gè)子集。通常，機器學(xué)習適用于基于訓練數據模型和行為規則的所有技術(shù)，ML技術(shù)已經(jīng)投入生產(chǎn)使用了很長(cháng)時(shí)間。在深度學(xué)習之前，科學(xué)家們必須在編寫(xiě)“功能”或模塊方面投入大量精力，這些功能可以執行模型想要執行的任務(wù)的一小部分。例如，如果你想要創(chuàng )建一個(gè)可以檢測物體的AI模型，你將編寫(xiě)一段程序來(lái)檢測這個(gè)物體的特征，而且必須使這些程序足夠強大，以便從不同角度和不同光照條件下檢測這些特征，并告訴不同的物體之間的差異。經(jīng)過(guò)以上這些操作后，你才可以在這些基礎上進(jìn)行基礎學(xué)習。

　　深度學(xué)習是科學(xué)的嗎?

　　盡管深度學(xué)習過(guò)程可以用數學(xué)符號描述，但這個(gè)過(guò)程本身是不科學(xué)的。深度學(xué)習就像一個(gè)黑匣子，我們無(wú)法理解這個(gè)系統是如何理解處理特征并完成相關(guān)任務(wù)的。

　　以卷積操作舉例，正如TensorFlow手冊中所說(shuō)，卷積層發(fā)現相關(guān)性。許多草葉通常代表一個(gè)草坪，在TensorFlow中，系統會(huì )花費大量時(shí)間來(lái)發(fā)現這些相關(guān)性。一旦發(fā)現了某些相關(guān)性，這種關(guān)聯(lián)會(huì )導致模型中某些權重的調整，從而使得特征提取正確。但從本質(zhì)上來(lái)說(shuō)，所有的相關(guān)性開(kāi)始時(shí)對于模型來(lái)說(shuō)都被遺忘了，必須在每次前向傳播和梯度下降的過(guò)程中來(lái)重新發(fā)現。這種系統實(shí)際上是從錯誤中吸取教訓，即模型輸出與理想輸出之間的誤差。

　　前向和反向傳播過(guò)程對圖像理解有一定的意義，有些人在文本上使用了相同的算法。幸運的是，針對于文本任務(wù)而言，有更加高效的算法。首先，我們可以使用大腦突觸或編程語(yǔ)言中的常規指針或對象引用顯式地表示所發(fā)現的相關(guān)性，神經(jīng)元與神經(jīng)元之間有關(guān)聯(lián)。

　　所以說(shuō)，無(wú)論是深度學(xué)習算法，還是有機學(xué)習，都不能說(shuō)是科學(xué)的。它們在缺乏證據并信任相關(guān)性的前提下得出結論，而不堅持可證明的因果關(guān)系。大多數深層神經(jīng)網(wǎng)絡(luò )編程很難得到理想結果并存在一定的誤差，只能通過(guò)從實(shí)驗結果中發(fā)現線(xiàn)索來(lái)改進(jìn)模型。增加網(wǎng)絡(luò )層數不總是有效的，對于大多數深度神經(jīng)網(wǎng)絡(luò )從業(yè)者而言，根據實(shí)驗結果來(lái)調整改進(jìn)網(wǎng)絡(luò )就是他們的日常工作。沒(méi)有先驗模型，就沒(méi)有先驗估計。任何深層神經(jīng)網(wǎng)絡(luò )可靠性和正確性的最佳估計，都是經(jīng)過(guò)大量的實(shí)驗得到。