湯曉鷗談AI：深度學(xué)習三大核心要素

　　5月20日，以“科研·產(chǎn)業(yè)·融合”為主題的2017CCF青年精英大會(huì )在北京召開(kāi)。本屆大會(huì )由中國計算機學(xué)會(huì )主辦，科技創(chuàng )新產(chǎn)業(yè)服務(wù)平臺Xtecher協(xié)辦。

　　中國工程院院士趙沁平、香港中文大學(xué)教授湯曉鷗、百度創(chuàng )始七劍客之一雷鳴、清華大學(xué)教授鄭緯民、IEEE Fellow陳熙霖、中國人民大學(xué)教授杜小勇、中國計算機學(xué)會(huì )秘書(shū)長(cháng)杜子德、中國人民大學(xué)信息學(xué)院院長(cháng)文繼榮、紅杉資本合伙人周逵、高榕資本創(chuàng )始合伙人岳斌、寰景信息董事長(cháng)陳擁權、CCF YOCSEF學(xué)術(shù)委員會(huì )學(xué)術(shù)秘書(shū)陳健等近五十位學(xué)術(shù)界、產(chǎn)業(yè)界、投資界大佬和數百位計算機領(lǐng)域的科研人才出席了此次活動(dòng)。

　　本次CCF青年精英大會(huì )進(jìn)行的“思想秀技術(shù)秀”上，共有22位青年學(xué)者、科技人才展示了前瞻性的思想觀(guān)點(diǎn)以及最新的技術(shù)成果。最終，評委會(huì )選出了2位優(yōu)秀青年赴 CNCC(2017中國計算機大會(huì )，將于10月26-28日在福州舉行)進(jìn)行演講。

　　此外，大會(huì )還公布了“青竹獎” 獲獎名單，表彰推動(dòng)科研進(jìn)步的青年學(xué)者，鼓勵產(chǎn)學(xué)研各方面創(chuàng )新人才。“青竹獎”由中國計算機學(xué)會(huì )牽頭，聯(lián)合Xtecher 共同發(fā)起，經(jīng)過(guò)評選委員會(huì )李開(kāi)復、王恩東等17位委員的專(zhuān)業(yè)評審，最終評選出了6位獲得“青竹獎”的最具潛力青年精英：碼隆科技聯(lián)合創(chuàng )始人兼CEO黃鼎隆、真格基金合伙人兼首席投資官李劍威、清華大學(xué)芯視界(北京)科技有限公司創(chuàng )始人兼董事長(cháng)鮑捷、中國科學(xué)院計算技術(shù)研究所研究員張云泉、云從科技公司創(chuàng )始人周曦、物靈科技公司聯(lián)合創(chuàng )始人兼CEO顧嘉唯。

　　在會(huì )議上，香港中文大學(xué)教授湯曉鷗做了主題為《人工智能的明天，中國去哪?》的特邀報告。湯曉鷗在演講中，講述了人工智能和深度學(xué)習的發(fā)展，并指出，深度學(xué)習的三大核心要素，就是算法設計、高性能的計算能力，以及大數據。

　　湯曉鷗表示：“無(wú)論人工智能怎么樣發(fā)展，年輕人選擇創(chuàng )業(yè)還是做研究，其實(shí)我們要做的就是三件事情：第一，我們需要花時(shí)間把基礎打好。剛才趙沁平院士講得很好，就是要堅持，真正花時(shí)間把人工智能的基礎打好。第二，我們要創(chuàng )新，要做新的東西，不要老是跟在別人后面走。第三，我們要把 ‘漂在上面的東西’落地，最終實(shí)現產(chǎn)業(yè)化。”

　　以下根據湯曉鷗演講實(shí)錄整理：

　　今天我講的題目是：《人工智能的明天，中國去哪兒?》我選了一個(gè)比較大的題目，希望能壓住場(chǎng)。原來(lái)我想的題目比這個(gè)還大：人工智能的明天，地球去哪兒?后來(lái)發(fā)現“一帶一路”會(huì )議剛剛開(kāi)完，地球去哪兒的問(wèn)題已經(jīng)解決了，我還是回到我的小題目——中國去哪兒。

　　不管是中國人工智能接下來(lái)如何發(fā)展，還是年輕人如何創(chuàng )業(yè)或者做研究，我們要做的事情也就是這三件：

　　第一，要堅持，要花時(shí)間把基礎打好。

　　第二，要做創(chuàng )新。要做新的東西，不要老是跟在別人后面走。

　　第三，要把飄在上面的東西落地，要產(chǎn)業(yè)化。

　　今天從我們實(shí)驗室的研究成果和公司做的產(chǎn)品，來(lái)講講我對這三個(gè)方面的理解。

　　人工智能和深度學(xué)習的突破

　　首先，什么是人工智能?這個(gè)概念現在已經(jīng)非常難定義了，大家幾乎把所有的事情都往人工智能上靠。從我的理解來(lái)講，人工智能真正落地的部分就是深度學(xué)習。因為以前的人工智能確實(shí)是在很多情況下用不起來(lái)，人手設計的智能還是比較難超越人來(lái)做某一件事情。而有了深度學(xué)習之后，我們可以把這個(gè)過(guò)程變成一個(gè)數據驅動(dòng)的過(guò)程——當做某一件特定事情時(shí)數據量及參數量大到一定程度時(shí)，機器就可能在做這件事情上超過(guò)人類(lèi)。很多現實(shí)中落地的產(chǎn)品化的東西，大部分是深度學(xué)習做出來(lái)的。深度學(xué)習做的東西，成功的案例比較多，一方面是在語(yǔ)音識別領(lǐng)域，另外可能更多的是視覺(jué)這方面，所以大家可以看到很多計算機視覺(jué)方面新的成果。我今天給在座講的人工智能其實(shí)也就是計算機視覺(jué)，是用深度學(xué)習去做計算機視覺(jué)，就變得更窄了。

　　大家可以看到“深度學(xué)習“”這個(gè)詞在谷歌上的搜索情況：從2006年才開(kāi)始有人搜索這個(gè)詞，是Hinton(深度學(xué)習的開(kāi)山鼻祖Geoffrey Hinton)和Yann LeCun(Facebook人工智能研究院院長(cháng)、卷積神經(jīng)網(wǎng)絡(luò )之父)們那個(gè)時(shí)候發(fā)明了這個(gè)算法。這中間很長(cháng)一段時(shí)間，2006-2011年曲線(xiàn)是很平穩的，只有學(xué)術(shù)界才會(huì )去搜索這個(gè)詞語(yǔ)，才知道這個(gè)事情。2011年突然之間搜索量開(kāi)始呈現指數型增長(cháng)，各行各業(yè)都在討論深度學(xué)習，現在搜索量已經(jīng)非常的巨大。這條曲線(xiàn)形象的演示了深度學(xué)習的爆發(fā)過(guò)程。

　　深度學(xué)習到底在做什么事情?實(shí)際上他所做的事情抽象出來(lái)是比較簡(jiǎn)單的，就是在做一個(gè)從X到Y的回歸、或者說(shuō)從A到B的Mapping(對應)——你給它一個(gè)輸入，我怎么樣給出一個(gè)對應的輸出?特殊的地方就是深度學(xué)習把這件事情做得非常非常好。以前也有其他算法可以做，只不過(guò)一直做不過(guò)人，現在深度學(xué)習做到了極致。比如說(shuō)給了一張人臉照片，它就可以給你對應出這個(gè)人的名字;給你一個(gè)物體的形狀，它就可以告訴你是什么物體;給一個(gè)車(chē)的行駛場(chǎng)景，我就可以給你輸出這個(gè)車(chē)應該往哪兒拐;給一個(gè)棋局，它能算出下一步怎么走;給一個(gè)醫療的圖像，能幫你判斷這是什么病……實(shí)際上就是這樣的一個(gè)過(guò)程。不要把人工智能想象成可以超越人類(lèi)，可以控制人類(lèi)，這些都是所謂的“好萊塢的人工智能”或者想象中的人工智能，真正人工智能在現在這個(gè)階段其實(shí)就是做這么簡(jiǎn)單個(gè)事。當然做成這個(gè)簡(jiǎn)單的事情其實(shí)已經(jīng)很不簡(jiǎn)單了。

　　最近這幾年深度學(xué)習確實(shí)在學(xué)術(shù)界、工業(yè)界取得了重大的突破。第一個(gè)突破是在語(yǔ)音識別上。Hinton和微軟的鄧力老師，在2011年用深度學(xué)習在語(yǔ)音識別上取得了巨大的成功。昨天可能大家在微信也刷屏了，我們中國科大畢業(yè)的師兄鄧力老師從微軟出來(lái)到頂級對沖基金工作。我的理解這也是一個(gè)A to B的mapping 的過(guò)程：把鄧老師的深度學(xué)習的經(jīng)驗等內容都輸入到對沖基金的算法里，這個(gè)對沖基金的錢(qián)就自動(dòng)Map到了鄧老師口袋里。

　　語(yǔ)音識別取得了巨大成功以后，緊接著(zhù)在視覺(jué)方面又取得了重大突破。2012年時(shí)，Hinton在ImageNet上將圖像識別一下子提高了十幾個(gè)點(diǎn)，以前我們都一年一個(gè)點(diǎn)在推，他一年就推了十年的進(jìn)步，在學(xué)術(shù)界引起了很大的轟動(dòng)。2014年我們團隊做人臉識別，通過(guò)深度學(xué)習，做到算法首次超過(guò)人眼的成績(jì)。

　　最后，在2016年，還是谷歌最厲害，每年120億美金的研發(fā)投入沒(méi)有白投，下了一盤(pán)棋叫AlphaGo，這盤(pán)棋下完之后人工智能就不需要我們解釋了，大家忽然都明白了，人工智能原來(lái)是這么回事兒，就是下棋。

　　接著(zhù)人工智能在自動(dòng)駕駛領(lǐng)域也取得了一些重大的突破?，F在比較熱門(mén)的是醫療影像方面，借助人工智能進(jìn)行診斷。

　　深度學(xué)習的三個(gè)核心要素

　　深度學(xué)習有三個(gè)核心的要素：

　　.學(xué)習算法的設計，你設計的大腦到底夠不夠聰明;

　　.要有高性能的計算能力，訓練一個(gè)大的網(wǎng)絡(luò );

　　.必須要有大數據。

　　接下來(lái)分享我們在深度學(xué)習方面做的一些工作。我們從2011年開(kāi)始做這項工作，一開(kāi)始沒(méi)有開(kāi)源的框架，所以要自己做很多的工作。做的時(shí)間長(cháng)了，我們就做了一套Parrots系統，這個(gè)系統目前還不是開(kāi)源的。

　　我們用這套系統訓練的網(wǎng)絡(luò )可以做到非常深，原來(lái)AlexNet是8層，后來(lái)GoogleNet在2014年做到了22層，后來(lái)Resnet做到了150多層，去年我們的PolyNet做到了1000多層。大家可以看到這個(gè)網(wǎng)絡(luò )發(fā)展趨勢，越來(lái)越深。這是我們設計的1000多層的網(wǎng)絡(luò )，比較細的線(xiàn)就是整個(gè)網(wǎng)，中間一個(gè)格往下走，放大出來(lái)的部分就是網(wǎng)絡(luò )的細節結構，這個(gè)網(wǎng)叫做Polynet，Dahua團隊的這個(gè)網(wǎng)絡(luò )設計和Facebook的Kaiming團隊的Resnet，在圖像分類(lèi)上做了目前為止全球最好的結果，最后基本上成了我們實(shí)驗室出來(lái)的兩個(gè)學(xué)生之間的競賽。這個(gè)網(wǎng)絡(luò )的最后形狀有點(diǎn)像 DNA 的雙螺旋。

　　在物體檢測上大家也可以看到這個(gè)進(jìn)步速度，2013年一開(kāi)始的時(shí)候，200類(lèi)物體的平均檢測準確率是22%，但是很快谷歌可以做到43.9%，我們做到50.3%，緊接著(zhù)微軟是62%，現在我們做到最好結果是66%。這個(gè)速度是幾年之內翻了三倍，也是深度學(xué)習的力量，我們這方面的工作是Xiaogang和Wangli團隊做的。

　　我們訓練出來(lái)這樣一個(gè)大腦，可以把它應用到各個(gè)方向，做出很多不同領(lǐng)域的不同技術(shù)。在人臉?lè )矫嫖覀冏隽巳四槞z測、人臉關(guān)鍵點(diǎn)定位、身份證對比、聚類(lèi)以及人臉屬性、活體檢測等等。智能監控方面，做了人，機動(dòng)車(chē)，非機動(dòng)車(chē)視頻結構化研究，人體的屬性，我們定義了大約70種。人群定義了90多種屬性。下面這些是衣服的搜索、物體的檢測、場(chǎng)景的分類(lèi)和車(chē)型的檢測，車(chē)型檢測我們標注了幾千種車(chē)型的分類(lèi)。在文字方面，小票的識別、信用卡的識別、車(chē)牌的識別，這些都是由深度學(xué)習的算法來(lái)做的。同時(shí)在圖像的處理方面，在去霧、超分辨率、去抖動(dòng)、去模糊，HDR、各種智能濾鏡的設計都是用深度學(xué)習的算法，我們基本上用一套大腦做很多的任務(wù)。

　　深度學(xué)習另外一個(gè)門(mén)檻就是高性能計算，以前高性能計算大家都是講的CPU集群，現在做深度學(xué)習都是GPU，把數百塊GPU連接起來(lái)做成集群目前是一個(gè)比較大的門(mén)檻。我們在北京做了三個(gè)GPU的集群，在香港做了一個(gè)大的集群，用這些集群，原來(lái)一個(gè)月才能訓練出來(lái)的網(wǎng)絡(luò )，加速到幾個(gè)小時(shí)就能訓練完，因此我們訓練了大量的網(wǎng)絡(luò )。

　　深度學(xué)習第三個(gè)門(mén)檻就是大數據，如果把人工智能比喻成一個(gè)火箭的話(huà)，大數據就是這個(gè)火箭的原料。

　　我們與300多家工業(yè)界的廠(chǎng)商客戶(hù)進(jìn)行合作，積累了大量的數據，數億的圖片，我們有300多人的團隊專(zhuān)門(mén)做這個(gè)數據標注。包括幾千類(lèi)車(chē)型的數據、人群的大數據以及衣服的搜索和分類(lèi)的數據庫，這些對于學(xué)術(shù)界以及工業(yè)界都是很有益的。實(shí)際上谷歌所做的數據體量更大，他們和National Institutes of Health (NIH)合作很快會(huì )開(kāi)放一個(gè)非常大的醫療圖像的數據庫。在醫療方面我相信大家很快會(huì )有大量的數據進(jìn)行處理，這個(gè)時(shí)候對于我們的高性能計算又提出了一些新的要求。

　　實(shí)驗室有幸對深度學(xué)習研究較早。在計算機視覺(jué)包括人臉檢測等各個(gè)方面起步較早，這里列了18項計算機視覺(jué)領(lǐng)域由我們在全球最早提出來(lái)深度學(xué)習解決方案的問(wèn)題，也相當于對創(chuàng )新的一些貢獻。我們被評為全亞洲唯一的人工智能研究十大先驅實(shí)驗室，非常榮幸跟MIT、斯坦福、伯克利這樣的名校，以及深度學(xué)習的頂級工業(yè)實(shí)驗室臉書(shū)、谷歌的深度學(xué)習負責人團隊等等在一起獲選。我們也在研究一些現在沒(méi)有的技術(shù)，比如說(shuō)，大家可能以前見(jiàn)過(guò)很多依賴(lài)深度攝像頭才能做的人體跟蹤算法(比如Kinect)。目前我們團隊做的算法，用很便宜的單個(gè)RGB攝像頭就可以做到同樣效果，這是非常不容易的，尤其要做到實(shí)時(shí)，在智能家居，自動(dòng)駕駛等方面都有很大的應用前景。

　　下面這個(gè)工作是去年做的，根據一張照片里兩個(gè)人的姿勢，可以自動(dòng)判斷兩個(gè)人之間的情感，是友好的還是敵對的。同時(shí)可以根據兩個(gè)人的表情也可以判斷兩個(gè)人的關(guān)系。所以以后如果你把你的照片上載到互聯(lián)網(wǎng)上，實(shí)際上我們可以判斷出來(lái)跟你一起照相的這個(gè)人和你具體是什么關(guān)系。

　　這有什么用途呢?大家經(jīng)常會(huì )把照片放到網(wǎng)上，我們用這些照片分析這些人，如果你跟一個(gè)非常有名的人，或者跟一個(gè)非常有錢(qián)的人照了一張合照，那你這個(gè)人可信度可能就增加?；蛘吣愫鸵粋€(gè)罪犯、或者信譽(yù)不好的人拍了一張照片，你的可信度就下降。我們用這項技術(shù)可以做金融的征信，把不同人的關(guān)系網(wǎng)建立起來(lái)，把信用度傳遞出去。這個(gè)關(guān)系問(wèn)題還可以做得更多，把一張圖片任何物體之間，哪個(gè)在上面，哪個(gè)在后面，互相是什么關(guān)系，可以由一張照片判斷出來(lái)。

　　下面這是最新的工作，我們以前定義了70種人的特性，根據這個(gè)特性進(jìn)行視頻搜索?，F在定義一個(gè)新的搜索模式，是用自然語(yǔ)言來(lái)搜索，即我說(shuō)一段話(huà)來(lái)描述這個(gè)人，把這個(gè)人描述出來(lái)以后用這段話(huà)去搜索我要找的這樣一個(gè)人。實(shí)際上，其中涉及的信息量是很大的，尋找也更加精準，我們已經(jīng)建立了一個(gè)大的開(kāi)源的數據庫來(lái)幫助大家做這個(gè)研究。

　　在這些數據中，從這些自然語(yǔ)言里面我們可以抽出不同的詞，用詞來(lái)描述不同的人，其信息量巨大，搜索準確率也大幅度提高。這是具體的監控方面應用的結果。用自然語(yǔ)言做人的搜索。大家可以想像一下在醫療上的應用，如在多模態(tài)的醫療診斷上。一個(gè)是醫療的圖像，一個(gè)是醫生的文字診斷，可以實(shí)時(shí)的識別出來(lái)，進(jìn)行自然語(yǔ)言的分析，把兩個(gè)進(jìn)行結合再進(jìn)行診斷。

　　下面這個(gè)也是一項新的研究工作，根據這個(gè)Video，識別內容，判斷劇情屬性。以泰坦尼克號電影為例，你可以看到那兩個(gè)曲線(xiàn)，現在是浪漫的場(chǎng)景，代表浪漫的線(xiàn)就上來(lái)了，如果是災難，那個(gè)災難的綠線(xiàn)就上來(lái)了，實(shí)時(shí)根據這個(gè)內容判斷劇情，這也是去年的工作。

　　今年目前團隊又做了一個(gè)新的工作，可以根據電影的實(shí)時(shí)計算分析，來(lái)理解判斷這里面的劇情，可以把一個(gè)演員，在整個(gè)電影里面，在什么地方出現，在那段時(shí)間是什么劇情，用自然語(yǔ)言描述出來(lái)，把整個(gè)電影的內容分析，用計算機視覺(jué)和自然語(yǔ)言自動(dòng)可以分析出來(lái)了。將來(lái)可以用來(lái)分析和插播廣告，還可以直接用自然語(yǔ)言搜索各種不同的片段。

　　我們還有一項工作是超分辨率，就是把很小的圖像放大，最大化還原細節。這是好萊塢電影的圖像，視頻抓到一個(gè)很模糊的嫌疑罪犯的圖像，然后把它實(shí)時(shí)的放大變得很清晰。這只是諜影重重電影上演的效果，還是很震撼的。

　　2016年的時(shí)候，推特跟谷歌密集發(fā)表了幾篇關(guān)于超分辨率的文章，其核心就是深度學(xué)習。而我們早于他們，就已經(jīng)做了大量先期研究。我們在2014年發(fā)表了全球第一個(gè)用深度學(xué)習研究超分辨率的論文，在2015年又發(fā)表了一篇相關(guān)文章，2016年發(fā)表了兩篇，取得了更大的突破，而在2017年緊接著(zhù)發(fā)表了三篇。我們的Cavan教授團隊是第一個(gè)做的，也是目前做的最好的。目前超分辨率已經(jīng)走向實(shí)時(shí)以及效果實(shí)用化的階段，利用這項技術(shù)在某些實(shí)時(shí)監控，公安監控攝像頭可以把人看的比較清晰了。

　　而在自動(dòng)駕駛上，我們也做了大量研究，六大類(lèi)別的技術(shù)，有30多個(gè)細分核心技術(shù)。我在這里面就簡(jiǎn)單舉幾個(gè)例子做演示。比如車(chē)的檢測、行人檢測、路道線(xiàn)的檢測、實(shí)時(shí)的場(chǎng)景分割……我們也做到前端，用前端的芯片做實(shí)時(shí)的效果。

　　這是人臉的布控系統，目前已在很多城市實(shí)時(shí)布控了。還有百米之外抓人，百米之外看到一個(gè)目標拉近然后進(jìn)行人臉識別。

　　這是視頻結構化，把視頻里面的人，機動(dòng)車(chē)，非機動(dòng)車(chē)及其特性都檢測出來(lái)了，自動(dòng)標注出來(lái)了，這樣把整個(gè)視頻變成了文檔，就可以進(jìn)行文檔性的搜索。

　　下面這些也都是我們所做的技術(shù)的落地產(chǎn)品：在中國移動(dòng)的實(shí)名認證系統，去年給中國移動(dòng)做了三億人的實(shí)名認證;小米的寶寶相冊;華為Mat8的智能相冊;FaceU、SNOW等做的特效;微博相機;這絕大部分是基于我們的人臉識別、人臉跟蹤等技術(shù)做出來(lái)的。實(shí)際上在人工智能落地方面我們做了許多的落地產(chǎn)品，去年的雙創(chuàng )活動(dòng)中幾百家企業(yè)里面選了兩家代表中國人工智能，右邊是百度，左邊是商湯科技。

　　因為主辦方希望我講一下學(xué)術(shù)研究和創(chuàng )業(yè)的關(guān)系，我最后總結一下，在中國創(chuàng )業(yè)是一個(gè)什么感受?我覺(jué)得中國創(chuàng )業(yè)就像跑百米一樣，要跑的非?？?，第一個(gè)到達終點(diǎn)才可以活下來(lái)，但是這個(gè)跑道并不是塑膠跑道，而是滿(mǎn)地都是坑的土路。這場(chǎng)賽跑有兩個(gè)結局，一個(gè)是全力跑到最快，另外一個(gè)是剛起步就掉到坑里了。創(chuàng )業(yè)的困難是一定存在的，年輕人要不要創(chuàng )業(yè)?盡管路上的坑比較多，但還是可以試一試。

　　另外用什么錢(qián)創(chuàng )業(yè)也是個(gè)問(wèn)題?什么錢(qián)可以用?什么錢(qián)不可以用?我的忠告是，首先父母的錢(qián)你不可以用，那是他們養老的血汗錢(qián);你自己掙的錢(qián)可以用，你的第一桶金可以用，你們還年輕，用光了可以再去掙。投資人的錢(qián)是可以用的，因為大部分都是有錢(qián)人的錢(qián)，我覺(jué)得劫富濟貧人人有責，所以如果大家一定要創(chuàng )業(yè)那就創(chuàng )吧。