Google大腦工程師詳解：深度學(xué)習技術(shù)能帶來(lái)哪些新產(chǎn)品？

　　那么，“深度學(xué)習的最新進(jìn)展能帶來(lái)哪些產(chǎn)品上的突破?”

　　Quora上就有這樣一個(gè)問(wèn)題，而Google Brain的研究工程師Eric Jiang也給出一個(gè)最高贊的答案。下面就是Jiang的回答，大周末的，讓我們一起來(lái)漲漲姿勢：

　　Deep Learning是指包含以下特征的一類(lèi)機器學(xué)習技術(shù)：

　　· 大規模神經(jīng)網(wǎng)絡(luò )(包含百萬(wàn)級的自由變量);

　　· 高性能計算(上千個(gè)并行處理器);

　　· 大數據(例如百萬(wàn)級的彩色圖像、棋譜等)

　　目前，深度學(xué)習技術(shù)已經(jīng)在眾多領(lǐng)域達到了先進(jìn)水平，例如視覺(jué)、聲音、機器人、自然語(yǔ)言處理。深度學(xué)習最近的進(jìn)展吸收了統計學(xué)習[1， 2]、增強學(xué)習和數值優(yōu)化的思想。關(guān)于這個(gè)領(lǐng)域的概況，見(jiàn)參考文獻[9， 10]。

　　我下面列出一些借助目前的深度學(xué)習技術(shù)才可能實(shí)現的產(chǎn)品類(lèi)別，排名不分先后：

　　定制化數據壓縮、壓縮感知、數據驅動(dòng)的傳感器校準、離線(xiàn)AI、人機交互、游戲、藝術(shù)助手、非結構化數據挖掘、語(yǔ)音合成。

　　定制化數據壓縮

　　假設你在設計一個(gè)視頻直播應用，希望用一套有損編碼方案來(lái)減少需要向互聯(lián)網(wǎng)上傳的包。

　　你可以用H.264這樣現成的編碼解碼器，但是H.264并不是最理想的解決方案，因為它是為通用視頻校準的，也就是從貓咪視頻到故事片都能用。改用為FaceTime視頻而校準的編解碼器可能會(huì )更好，因為當我們利用了“屏幕中間總是有張臉”這一點(diǎn)，能省下更多流量。

　　然而，設計一個(gè)這樣的編碼方案是有難度的。我們要怎樣說(shuō)明臉在什么位置，視頻對象有多少根眉毛、眼睛是什么顏色、下巴是什么形狀等等特征?如果頭發(fā)擋住了眉毛怎么辦?圖像中沒(méi)有臉或者有多個(gè)人的臉怎么辦?

　　這時(shí)候，深度學(xué)習就派上用場(chǎng)了。自動(dòng)編碼器是一種神經(jīng)網(wǎng)絡(luò )，只是它的輸出和輸入數據一樣而已。學(xué)習這個(gè)“恒等映射(identity mapping)”之所以重要，是因為這個(gè)自動(dòng)編碼器的隱藏層神經(jīng)網(wǎng)絡(luò )比輸入層要小。這個(gè)“信息瓶頸”迫使自動(dòng)編碼器在隱藏層中學(xué)習一種數據的壓縮表示(compressed representation)，這種壓縮表示還將被神經(jīng)網(wǎng)絡(luò )的其它層解碼回原始形態(tài)。

　　通過(guò)端到端的訓練，自動(dòng)編碼器等深度學(xué)習技術(shù)可以適應你數據的細微差別。不同于主成分分析法(PCA)，編解碼步驟不受(線(xiàn)性)仿射變換的限制。PCA學(xué)習的是一種“編碼線(xiàn)性變換”，自動(dòng)編碼器學(xué)習的是“編碼程序”。

　　這讓神經(jīng)網(wǎng)絡(luò )更加強大，能用于更復雜的、特定領(lǐng)域的壓縮，從在Facebook上存大量自拍到加載速度更快的YouTube視頻，科學(xué)數據壓縮再到降低你個(gè)人iTunes資料庫所占的空間，都能用上這種技術(shù)。設想一下，假如你的iTunes資料庫為了讓你的音樂(lè )少占一點(diǎn)空間，它可能專(zhuān)門(mén)學(xué)習一種“鄉村歌曲編碼器”哦!

　　壓縮感知

　　壓縮感知和有損壓縮的解碼方面緊密相關(guān)。很多有趣的信號都有特定的結構，也就是說(shuō)，信號的分布并不完全是任意的。這說(shuō)明實(shí)際上，我們不需要為了獲取信號的完美重建而在奈奎斯特極限采樣，只要我們的解碼算法可以正確地找出它的結構。

　　深度學(xué)習適用于這個(gè)任務(wù)，因為我們不需要人工標注特征就能用神經(jīng)網(wǎng)絡(luò )來(lái)學(xué)習稀疏結構。以下是一些產(chǎn)品應用：

　　超分辨率算法(waifu2X)，就是美劇CSI邁阿密里“增強”按鈕的真實(shí)版;

　　使用WiFi無(wú)線(xiàn)電波干擾可以透視墻壁另一側的人(MIT Wi-Vi);

　　基于不完全觀(guān)察(例如2D圖像、部分遮擋的圖像)解譯3D結構;

　　聲納、激光雷達信息的更精確重現。

　　數據驅動(dòng)的傳感器校準

　　好的傳感器和測量裝置通常依賴(lài)于昂貴、精密的部件。

　　我們以數碼相機為例。數碼相機假設鏡頭中的玻璃鏡片遵循一種精密的幾何結構，拍照時(shí)，內置的處理器負責用光線(xiàn)通過(guò)透鏡的等式，來(lái)計算出最終的圖像。

　　如果透鏡有刮痕、彎曲、變形，就打破了相機原本的假設，圖像的質(zhì)量也不會(huì )好。

　　再舉一個(gè)例子。為了便于計算，我們目前用在MRI和心電圖中的解碼模型會(huì )假設頭蓋骨是一個(gè)正球體。這在一定程度上是可行的，但有時(shí)，檢測出的腫瘤位置會(huì )有幾毫米的誤差。

　　更精確的攝影和MRI成像技術(shù)應該對幾何誤差進(jìn)行補償，無(wú)論這些誤差來(lái)自潛在錯誤源還是制造缺陷。

　　幸運的是，深度學(xué)習給了我們借助數據校準解碼算法的能力。

　　不同于“均碼”的解碼模型(例如卡爾曼濾波器)，我們可以針對每個(gè)受體或者測量?jì)x器進(jìn)行調整，從而表示出更復雜的偏差。如果相機鏡頭有刮痕，我們可以訓練解碼軟件對變化了的幾何形態(tài)進(jìn)行補償。也就是說(shuō)，我們不再需要以極高的精度制造和排列傳感器，也就節約了大量資金。

　　某些情況下，我們可以在完全去除了硬件的情況下，讓算法去進(jìn)行補償。哥倫比亞大學(xué)的計算攝影學(xué)實(shí)驗室開(kāi)發(fā)了一種沒(méi)有鏡片的相機，也就是軟件定義成像(software-defined imaging)

　　離線(xiàn)AI

　　能在不聯(lián)網(wǎng)的情況下運行AI算法，對要求低延遲(例如機器人、自動(dòng)駕駛汽車(chē))或者沒(méi)有穩定網(wǎng)絡(luò )連接(如旅行方面)的應用來(lái)說(shuō)至關(guān)重要。

　　深度學(xué)習在這方面尤其合適。訓練階段結束后，神經(jīng)網(wǎng)絡(luò )的前饋環(huán)節運行得非?？?，另外，把大型神經(jīng)網(wǎng)絡(luò )一直縮小到可以在智能手機上運行也很簡(jiǎn)單，雖然準確率上會(huì )有所損失。

　　Google在Google Translate應用的離線(xiàn)拍照翻譯功能上已經(jīng)這么做了。