“深度學(xué)習”：人工神經(jīng)回路大顯威力
加入技術(shù)交流群
最近1～2年，有一項技術(shù)受到了全世界人工智能研究人員的密切關(guān)注。這種新方法名叫“深度學(xué)習”，是一種讓計算機像人類(lèi)一樣根據經(jīng)驗采取行動(dòng)的機器學(xué)習方式。
支撐互聯(lián)網(wǎng)社會(huì )的圖像識別和語(yǔ)音識別、有助于新藥開(kāi)發(fā)的化合物活性預測——在此類(lèi)技術(shù)角逐精度的大賽上，深度學(xué)習大幅改寫(xiě)過(guò)去的紀錄，一次又一次贏(yíng)得了勝利。
“真不相信精度能得到如此飛躍”，“結果太震撼了”。專(zhuān)家的驚嘆之聲不絕于耳。
深度學(xué)習是由在計算機上模擬人類(lèi)神經(jīng)回路的“神經(jīng)元網(wǎng)絡(luò )”技術(shù)發(fā)展而來(lái)。
 |
 |
人腦在根據圖像判斷圖上物品的種類(lèi)、根據手頭信息預測未來(lái)上面擁有優(yōu)秀的能力。
神經(jīng)元網(wǎng)絡(luò )是在計算機上把虛擬的神經(jīng)元排列成層狀，模擬真正的神經(jīng)細胞之間的電信號。借此實(shí)現大腦從各式各樣的數據中提取本質(zhì)概念的功能。
深度學(xué)習的目的是把神經(jīng)元“深化”到4層、5層，實(shí)現接近于大腦的性能。
神經(jīng)元網(wǎng)絡(luò )研究的歷史悠久，可以追溯到1950年代。但是，由于增加神經(jīng)元的層數后，會(huì )出現性能降低等問(wèn)題，因此，研究一直處于興盛與衰退的反復交替過(guò)程。
然而，到了2000年代中期，美國的研究人員開(kāi)發(fā)出了攻克這一課題的計算技術(shù)。再加上能夠處理大數據的計算機的進(jìn)步，深度學(xué)習的研究拉開(kāi)了序幕。
2012年6月，美國谷歌與美國斯坦福大學(xué)合作發(fā)表的成果成為了讓世界了解深度學(xué)習威力的開(kāi)端。
谷歌把取自視頻網(wǎng)站“YouTube”的大量圖像輸入到了神經(jīng)元網(wǎng)絡(luò )之中。結果，在沒(méi)有教授任何知識的情況下，計算機自然產(chǎn)生了“貓”的概念。
識別精度提高7成
谷歌的研究員杰夫·迪恩（Jeff Dean）解釋說(shuō)：“我們的研究就像是給剛出生的嬰兒看大量的YouTube圖像?！毕旅?，筆者就以該公司的研究為例，解釋一下深度學(xué)習的原理。
谷歌在計算機上制作了深達9層的神經(jīng)元。第1層是“輸入層”，第2～8層是“隱藏層”，第9層是“輸出層”。
輸入層的神經(jīng)元從輸入圖像上讀取各像素的值，把信號傳導至第2層的各個(gè)神經(jīng)元。第2層的神經(jīng)元根據某種規則，對第1層傳導來(lái)的信號進(jìn)行轉換，然后輸出到第3層。在第3層到輸出層之間，輸出信號按照同樣的步驟，逐層向下傳遞。
重點(diǎn)是在輸入每一幅圖像時(shí)，各神經(jīng)元的連接方式都會(huì )發(fā)生細微的改變。向神經(jīng)元網(wǎng)絡(luò )輸入圖像后，各神經(jīng)元在接收信號，進(jìn)行轉換之時(shí)，相關(guān)的參數將得到調整，使整體的信號傳導方式發(fā)生改變。也就是網(wǎng)絡(luò )慢慢得到“訓練”。
在谷歌的研究之中，參數約為10億個(gè)，數量相當龐大。該公司向如此巨大的網(wǎng)絡(luò )輸入了從1000萬(wàn)個(gè)YouTube視頻中截取的圖像。通過(guò)1.6萬(wàn)個(gè)CPU（中央運算處理裝置）并用的大規模計算，耗費1周時(shí)間實(shí)施了訓練。
訓練結束后，神經(jīng)元網(wǎng)絡(luò )的內部形成了不可思議的構造。各神經(jīng)元會(huì )分別對不同的特定種類(lèi)輸入信號做出特別強烈的反應（放電）。
這與人腦內的神經(jīng)細胞對人的相貌、物體等特定物體和概念做出反應并放電的原理相同。也就是說(shuō)，人通過(guò)學(xué)習和經(jīng)驗形成的神經(jīng)回路構造在計算機中得到了重現。
各神經(jīng)元識別的對象因層的深度而異?？拷斎雽拥牡?層的神經(jīng)元對圖像中的邊緣、彎曲等單純的形狀和概念做出反應。隨著(zhù)向第3層、第4層的不斷深入，神經(jīng)元捕捉的概念將愈發(fā)高深、抽象。在輸入動(dòng)物面部的圖像時(shí)，這些層負責識別眼睛、耳朵等構造，以及面部整體。
根據谷歌的研究，位于最后的輸出層的1個(gè)神經(jīng)元已經(jīng)可以自然地識別出貓臉。在看到包含貓臉的圖像后，這個(gè)神經(jīng)元的反應最為強烈。
當然，可以識別的并不只是貓。人、汽車(chē)、長(cháng)頸鹿等各種事物都可以進(jìn)行識別。包括人類(lèi)難以區分的鰩和蝠鲼在內，在對大約2萬(wàn)個(gè)種類(lèi)進(jìn)行識別精度調查后，結果顯示，識別率達到了16％，比過(guò)去的最高紀錄高出了約7成。
谷歌已經(jīng)把深度學(xué)習的技術(shù)運用到了該公司的語(yǔ)音識別服務(wù)之中。今后還考慮在圖像識別和視頻搜索等用途投入實(shí)用。谷歌的迪恩充滿(mǎn)期待地表示，“計算機與人類(lèi)的新式人機對話(huà)將成為可能”。
深度學(xué)習的目的是把神經(jīng)元“深化”到4層、5層，實(shí)現接近于大腦的性能。
神經(jīng)元網(wǎng)絡(luò )研究的歷史悠久，可以追溯到1950年代。但是，由于增加神經(jīng)元的層數后，會(huì )出現性能降低等問(wèn)題，因此，研究一直處于興盛與衰退的反復交替過(guò)程。
然而，到了2000年代中期，美國的研究人員開(kāi)發(fā)出了攻克這一課題的計算技術(shù)。再加上能夠處理大數據的計算機的進(jìn)步，深度學(xué)習的研究拉開(kāi)了序幕。
2012年6月，美國谷歌與美國斯坦福大學(xué)合作發(fā)表的成果成為了讓世界了解深度學(xué)習威力的開(kāi)端。
谷歌把取自視頻網(wǎng)站“YouTube”的大量圖像輸入到了神經(jīng)元網(wǎng)絡(luò )之中。結果，在沒(méi)有教授任何知識的情況下，計算機自然產(chǎn)生了“貓”的概念。
識別精度提高7成
谷歌的研究員杰夫·迪恩（Jeff Dean）解釋說(shuō)：“我們的研究就像是給剛出生的嬰兒看大量的YouTube圖像?！毕旅?，筆者就以該公司的研究為例，解釋一下深度學(xué)習的原理。
谷歌在計算機上制作了深達9層的神經(jīng)元。第1層是“輸入層”，第2～8層是“隱藏層”，第9層是“輸出層”。
輸入層的神經(jīng)元從輸入圖像上讀取各像素的值，把信號傳導至第2層的各個(gè)神經(jīng)元。第2層的神經(jīng)元根據某種規則，對第1層傳導來(lái)的信號進(jìn)行轉換，然后輸出到第3層。在第3層到輸出層之間，輸出信號按照同樣的步驟，逐層向下傳遞。
重點(diǎn)是在輸入每一幅圖像時(shí)，各神經(jīng)元的連接方式都會(huì )發(fā)生細微的改變。向神經(jīng)元網(wǎng)絡(luò )輸入圖像后，各神經(jīng)元在接收信號，進(jìn)行轉換之時(shí)，相關(guān)的參數將得到調整，使整體的信號傳導方式發(fā)生改變。也就是網(wǎng)絡(luò )慢慢得到“訓練”。
在谷歌的研究之中，參數約為10億個(gè)，數量相當龐大。該公司向如此巨大的網(wǎng)絡(luò )輸入了從1000萬(wàn)個(gè)YouTube視頻中截取的圖像。通過(guò)1.6萬(wàn)個(gè)CPU（中央運算處理裝置）并用的大規模計算，耗費1周時(shí)間實(shí)施了訓練。
訓練結束后，神經(jīng)元網(wǎng)絡(luò )的內部形成了不可思議的構造。各神經(jīng)元會(huì )分別對不同的特定種類(lèi)輸入信號做出特別強烈的反應（放電）。
這與人腦內的神經(jīng)細胞對人的相貌、物體等特定物體和概念做出反應并放電的原理相同。也就是說(shuō)，人通過(guò)學(xué)習和經(jīng)驗形成的神經(jīng)回路構造在計算機中得到了重現。
各神經(jīng)元識別的對象因層的深度而異?？拷斎雽拥牡?層的神經(jīng)元對圖像中的邊緣、彎曲等單純的形狀和概念做出反應。隨著(zhù)向第3層、第4層的不斷深入，神經(jīng)元捕捉的概念將愈發(fā)高深、抽象。在輸入動(dòng)物面部的圖像時(shí)，這些層負責識別眼睛、耳朵等構造，以及面部整體。
根據谷歌的研究，位于最后的輸出層的1個(gè)神經(jīng)元已經(jīng)可以自然地識別出貓臉。在看到包含貓臉的圖像后，這個(gè)神經(jīng)元的反應最為強烈。
 |
| 在美國谷歌的研究中，讓識別貓的神經(jīng)元做出了最強反應的貓的頭像 |
當然，可以識別的并不只是貓。人、汽車(chē)、長(cháng)頸鹿等各種事物都可以進(jìn)行識別。包括人類(lèi)難以區分的鰩和蝠鲼在內，在對大約2萬(wàn)個(gè)種類(lèi)進(jìn)行識別精度調查后，結果顯示，識別率達到了16％，比過(guò)去的最高紀錄高出了約7成。
谷歌已經(jīng)把深度學(xué)習的技術(shù)運用到了該公司的語(yǔ)音識別服務(wù)之中。今后還考慮在圖像識別和視頻搜索等用途投入實(shí)用。谷歌的迪恩充滿(mǎn)期待地表示，“計算機與人類(lèi)的新式人機對話(huà)將成為可能”。
超越人類(lèi)的未來(lái)預測
人腦包含著(zhù)數以千億計的神經(jīng)細胞。今后，隨著(zhù)深度學(xué)習的規模和精度的提升，計算機將能夠達到人腦的什么程度呢？
東京大學(xué)研究生院工學(xué)系研究科副教授松尾豐指出，“人腦最大的優(yōu)勢在于擅長(cháng)預測和推測。通過(guò)使用深度學(xué)習，對于未來(lái)的高精度預測或許將成為現實(shí)”。
人類(lèi)擁有優(yōu)秀的預測能力，能夠根據物體的外觀(guān)，判斷其能否食用，或是根據與某人相關(guān)的知識，預測此人的年收入。如果把這些特征與計算機的處理性能相結合，超越人類(lèi)的高精度未來(lái)預測將開(kāi)辟一條嶄新的道路。
松尾副教授等人目前正在研究根據微博客“Twitter”上的發(fā)言?xún)热?，?lái)提高推測發(fā)言者性格的精度。今后還打算使用超級計算機等設備，把深度學(xué)習運用于未來(lái)經(jīng)濟的預測。
深度學(xué)習不同于傳統技術(shù)，輸入的數據無(wú)需事先進(jìn)行人工篩選。因此，只需輸入報紙刊登的企業(yè)財務(wù)數據、各種各樣的市場(chǎng)數據、互聯(lián)網(wǎng)的經(jīng)濟信息等雜亂的信息，就有望實(shí)現準確的經(jīng)濟預測。
真實(shí)的大腦中存在著(zhù)功能各異的多個(gè)部位，在這些部位之間，電信號的交換非常復雜。深度學(xué)習目前還不能完全重現。
但日本產(chǎn)業(yè)技術(shù)綜合研究所智能系統研究部門(mén)的高級主任研究員麻生英樹(shù)說(shuō)：“開(kāi)發(fā)像人腦一樣提取數據內在本質(zhì)概念的技術(shù)非常重要?！倍?，這種技術(shù)的應用領(lǐng)域也十分廣泛，所以深度學(xué)習的研究熱度估計還會(huì )持續下去。
人腦包含著(zhù)數以千億計的神經(jīng)細胞。今后，隨著(zhù)深度學(xué)習的規模和精度的提升，計算機將能夠達到人腦的什么程度呢？
 |
東京大學(xué)研究生院工學(xué)系研究科副教授松尾豐指出，“人腦最大的優(yōu)勢在于擅長(cháng)預測和推測。通過(guò)使用深度學(xué)習，對于未來(lái)的高精度預測或許將成為現實(shí)”。
人類(lèi)擁有優(yōu)秀的預測能力，能夠根據物體的外觀(guān)，判斷其能否食用，或是根據與某人相關(guān)的知識，預測此人的年收入。如果把這些特征與計算機的處理性能相結合，超越人類(lèi)的高精度未來(lái)預測將開(kāi)辟一條嶄新的道路。
松尾副教授等人目前正在研究根據微博客“Twitter”上的發(fā)言?xún)热?，?lái)提高推測發(fā)言者性格的精度。今后還打算使用超級計算機等設備，把深度學(xué)習運用于未來(lái)經(jīng)濟的預測。
深度學(xué)習不同于傳統技術(shù)，輸入的數據無(wú)需事先進(jìn)行人工篩選。因此，只需輸入報紙刊登的企業(yè)財務(wù)數據、各種各樣的市場(chǎng)數據、互聯(lián)網(wǎng)的經(jīng)濟信息等雜亂的信息，就有望實(shí)現準確的經(jīng)濟預測。
真實(shí)的大腦中存在著(zhù)功能各異的多個(gè)部位，在這些部位之間，電信號的交換非常復雜。深度學(xué)習目前還不能完全重現。
但日本產(chǎn)業(yè)技術(shù)綜合研究所智能系統研究部門(mén)的高級主任研究員麻生英樹(shù)說(shuō)：“開(kāi)發(fā)像人腦一樣提取數據內在本質(zhì)概念的技術(shù)非常重要?！倍?，這種技術(shù)的應用領(lǐng)域也十分廣泛，所以深度學(xué)習的研究熱度估計還會(huì )持續下去。
評論