微軟亞洲研究院：NLP將迎來(lái)黃金十年

　　比爾·蓋茨曾說(shuō)過(guò)，“語(yǔ)言理解是人工智能皇冠上的明珠”。自然語(yǔ)言處理(NLP，Natural Language Processing)的進(jìn)步將會(huì )推動(dòng)人工智能整體進(jìn)展。

　　NLP 的歷史幾乎跟計算機和人工智能(AI)的歷史一樣長(cháng)。自計算機誕生，就開(kāi)始有了對人工智能的研究，而人工智能領(lǐng)域最早的研究就是機器翻譯以及自然語(yǔ)言理解。

　　在 1998 年微軟亞洲研究院成立之初，NLP 就被確定為最重要的研究領(lǐng)域之一。歷經(jīng)二十載春華秋實(shí)，在歷屆院長(cháng)支持下，微軟亞洲研究院在促進(jìn) NLP 的普及與發(fā)展以及人才培養方面取得了非凡的成就。共計發(fā)表了 100 余篇 ACL 大會(huì )文章，出版了《機器翻譯》和《智能問(wèn)答》兩部著(zhù)作，培養了 500 名實(shí)習生、20 名博士和 20 名博士后。我們開(kāi)發(fā)的 NLP 技術(shù)琳瑯滿(mǎn)目，包括輸入法、分詞、句法/語(yǔ)義分析、文摘、情感分析、問(wèn)答、跨語(yǔ)言檢索、機器翻譯、知識圖譜、聊天機器人、用戶(hù)畫(huà)像和推薦等，已經(jīng)廣泛應用于 Windows、Office、Bing、微軟認知服務(wù)、小冰、小娜等微軟產(chǎn)品中。我們與創(chuàng )新技術(shù)組合作研發(fā)的微軟對聯(lián)和必應詞典，已經(jīng)為成千上萬(wàn)的用戶(hù)提供服務(wù)。

　　過(guò)去二十年，NLP 利用統計機器學(xué)習方法，基于大規模的帶標注的數據進(jìn)行端對端的學(xué)習，取得了長(cháng)足的進(jìn)步。尤其是過(guò)去三年來(lái)，深度學(xué)習給 NLP 帶來(lái)了新的進(jìn)步。其中在單句翻譯、抽取式閱讀理解、語(yǔ)法檢查等任務(wù)上，更是達到了可比擬人類(lèi)的水平。

　　基于如下的判斷，我們認為未來(lái)十年是 NLP 發(fā)展的黃金檔：

　　來(lái)自各個(gè)行業(yè)的文本大數據將會(huì )更好地采集、加工、入庫。

　　來(lái)自搜索引擎、客服、商業(yè)智能、語(yǔ)音助手、翻譯、教育、法律、金融等領(lǐng)域對 NLP 的需求會(huì )大幅度上升，對 NLP 質(zhì)量也提出更高要求。

　　文本數據和語(yǔ)音、圖像數據的多模態(tài)融合成為未來(lái)機器人的剛需。這些因素都會(huì )進(jìn)一步促進(jìn)對 NLP 的投資力度，吸引更多人士加入到 NLP 的研發(fā)中來(lái)。因此我們需要審時(shí)度勢、抓住重點(diǎn)、及時(shí)規劃，面向更大的突破。

　　因此，NLP 研究將會(huì )向如下幾個(gè)方面傾斜：

　　將知識和常識引入目前基于數據的學(xué)習系統中。

　　低資源的 NLP 任務(wù)的學(xué)習方法。

　　上下文建模、多輪語(yǔ)義理解。

　　基于語(yǔ)義分析、知識和常識的可解釋 NLP。

　　重點(diǎn)知識：NLP 的技術(shù)進(jìn)展

　　自然語(yǔ)言處理，有時(shí)候也稱(chēng)作自然語(yǔ)言理解，旨在利用計算機分析自然語(yǔ)言語(yǔ)句和文本，抽取重要信息，進(jìn)行檢索、問(wèn)答、自動(dòng)翻譯和文本生成。人工智能的目的是使得電腦能聽(tīng)、會(huì )說(shuō)、理解語(yǔ)言、會(huì )思考、解決問(wèn)題，甚至會(huì )創(chuàng )造。它包括運算智能、感知智能、認知智能和創(chuàng )造智能幾個(gè)層次的技術(shù)。計算機在運算智能即記憶和計算的能力方面已遠超人類(lèi)。而感知智能則是電腦感知環(huán)境的能力，包括聽(tīng)覺(jué)、視覺(jué)和觸覺(jué)等等，相當于人類(lèi)的耳朵、眼睛和手。目前感知智能技術(shù)已取得飛躍性的進(jìn)步;而認知智能包括自然語(yǔ)言理解、知識和推理，目前還待深入研究;創(chuàng )造智能目前尚無(wú)多少研究。比爾·蓋茨曾說(shuō)過(guò)，“自然語(yǔ)言理解是人工智能皇冠上的明珠”。NLP 的進(jìn)步將會(huì )推動(dòng)人工智能整體進(jìn)展。

　　NLP 在深度學(xué)習的推動(dòng)下，在很多領(lǐng)域都取得了很大進(jìn)步。下面，我們就來(lái)一起簡(jiǎn)單看看 NLP 的重要技術(shù)進(jìn)展。

　　1、神經(jīng)機器翻譯

　　神經(jīng)機器翻譯就是模擬人腦的翻譯過(guò)程。

　　翻譯任務(wù)就是把源語(yǔ)言句子轉換成語(yǔ)義相同的目標語(yǔ)言句子。人腦在進(jìn)行翻譯的時(shí)候，首先是嘗試理解這句話(huà)，然后在腦海里形成對這句話(huà)的語(yǔ)義表示，最后再把這個(gè)語(yǔ)義表示轉化到另一種語(yǔ)言。神經(jīng)機器翻譯就是模擬人腦的翻譯過(guò)程，它包含了兩個(gè)模塊：一個(gè)是編碼器，負責將源語(yǔ)言句子壓縮為語(yǔ)義空間中的一個(gè)向量表示，期望該向量包含源語(yǔ)言句子的主要語(yǔ)義信息;另一個(gè)是解碼器，它基于編碼器提供的語(yǔ)義向量，生成在語(yǔ)義上等價(jià)的目標語(yǔ)言句子。

　　神經(jīng)機器翻譯模型的優(yōu)勢在于三方面：一是端到端的訓練，不再像統計機器翻譯方法那樣由多個(gè)子模型疊加而成，從而造成錯誤的傳播;二是采用分布式的信息表示，能夠自動(dòng)學(xué)習多維度的翻譯知識，避免人工特征的片面性;三是能夠充分利用全局上下文信息來(lái)完成翻譯，不再是局限于局部的短語(yǔ)信息?；谘h(huán)神經(jīng)網(wǎng)絡(luò )模型的機器翻譯模型已經(jīng)成為一種重要的基線(xiàn)系統，在此方法的基礎上，從網(wǎng)絡(luò )模型結構到模型訓練方法等方面，都涌現出很多改進(jìn)。

　　神經(jīng)機器翻譯系統的翻譯質(zhì)量在不斷取得進(jìn)步，人們一直在探索如何使得機器翻譯達到人類(lèi)的翻譯水平。2018 年，微軟亞洲研究院與微軟翻譯產(chǎn)品團隊合作開(kāi)發(fā)的中英機器翻譯系統，在 WMT2017 新聞領(lǐng)域測試數據集上的翻譯質(zhì)量達到了與人類(lèi)專(zhuān)業(yè)翻譯質(zhì)量相媲美的水平 (Hassan et al.， 2018)。該系統融合了微軟亞洲研究院提出的四種先進(jìn)技術(shù)，其中包括可以高效利用大規模單語(yǔ)數據的聯(lián)合訓練和對偶學(xué)習技術(shù)，以及解決曝光偏差問(wèn)題的一致性正則化技術(shù)和推敲網(wǎng)絡(luò )技術(shù)。

　　2、智能人機交互

　　智能人機交互包括利用自然語(yǔ)言實(shí)現人與機器的自然交流。其中一個(gè)重要的概念是“對話(huà)即平臺”。

　　“對話(huà)即平臺(CaaP，Conversation as a Platform)”是微軟首席執行官薩提亞·納德拉 2016 年提出的概念，他認為圖形界面的下一代就是對話(huà)，并會(huì )給整個(gè)人工智能、計算機設備帶來(lái)一場(chǎng)新的革命。

　　薩提亞之所以提出這個(gè)概念是因為：首先，源于大家都已經(jīng)習慣用社交手段，如微信、Facebook 與他人聊天的過(guò)程。我們希望將這種交流過(guò)程呈現在當今的人機交互中。其次，大家現在面對的設備有的屏幕很小(比如手機)，有的甚至沒(méi)有屏幕(比如有些物聯(lián)網(wǎng)設備)，語(yǔ)音交互更加自然和直觀(guān)。對話(huà)式人機交互可調用 Bot 來(lái)完成一些具體的功能，比如訂咖啡，買(mǎi)車(chē)票等等。許多公司開(kāi)放了 CAAP 平臺，讓全世界的開(kāi)發(fā)者都能開(kāi)發(fā)出自己喜歡的 Bot 以便形成一個(gè)生態(tài)。