微軟亞洲研究院：NLP將迎來(lái)黃金十年

　　面向任務(wù)的對話(huà)系統比如微軟的小娜通過(guò)手機和智能設備讓人與電腦進(jìn)行交流，由人發(fā)布命令，小娜理解并完成任務(wù)。同時(shí)，小娜理解你的習慣，可主動(dòng)給你一些貼心提示。而聊天機器人，比如微軟的小冰負責聊天。無(wú)論是小娜這種注重任務(wù)執行的技術(shù)，還是小冰這種聊天系統，其實(shí)背后單元處理引擎無(wú)外乎三層技術(shù)：第一層，通用聊天機器人;第二層，搜索和問(wèn)答(Infobot);第三層，面向特定任務(wù)對話(huà)系統(Bot)。

　　3、聊天系統的架構

　　機器閱讀理解

　　自然語(yǔ)言理解的一個(gè)重要研究課題是閱讀理解。

　　閱讀理解就是讓電腦看一遍文章，針對這些文章問(wèn)一些問(wèn)題，看電腦能不能回答出來(lái)。機器閱讀理解技術(shù)有著(zhù)廣闊的應用前景。例如，在搜索引擎中，機器閱讀理解技術(shù)可以用來(lái)為用戶(hù)的搜索(尤其是問(wèn)題型的查詢(xún))提供更為智能的答案。我們通過(guò)對整個(gè)互聯(lián)網(wǎng)的文檔進(jìn)行閱讀理解，從而直接為用戶(hù)提供精確的答案。同時(shí)，這在移動(dòng)場(chǎng)景的個(gè)人助理，如微軟小娜(Cortana)里也有直接的應用：智能客服中可使用機器閱讀文本文檔(如用戶(hù)手冊、商品描述等)來(lái)自動(dòng)或輔助客服來(lái)回答用戶(hù)的問(wèn)題;在辦公領(lǐng)域可使用機器閱讀理解技術(shù)處理個(gè)人的郵件或者文檔，然后用自然語(yǔ)言查詢(xún)獲取相關(guān)的信息;在教育領(lǐng)域用來(lái)可以用來(lái)輔助出題;在法律領(lǐng)域可用來(lái)理解法律條款，輔助律師或者法官判案;在金融領(lǐng)域里從非結構化的文本(比如新聞中)抽取金融相關(guān)的信息等。機器閱讀理解技術(shù)可形成一個(gè)通用能力，第三方可以基于它構建更多的應用。

　　斯坦福大學(xué)在 2016 年 7 月發(fā)布了一個(gè)大規模的用于評測閱讀理解技術(shù)的數據集(SQuAD)，包含 10 萬(wàn)個(gè)由人工標注的問(wèn)題和答案。SQuAD 數據集中，文章片段(passage)來(lái)自維基百科的文章，每個(gè)文章片段(passage)由眾包方式，標注人員提 5 個(gè)問(wèn)題，并且要求問(wèn)題的答案是 passage 中的一個(gè)子片段。標注的數據被分成訓練集和測試集。訓練集公開(kāi)發(fā)布用來(lái)訓練閱讀理解系統，而測試集不公開(kāi)。參賽者需要把開(kāi)發(fā)的算法和模型提交到斯坦福由其運行后把結果報在網(wǎng)站上。

　　一開(kāi)始，以 100 分為例，人的水平是 82.3 左右，機器的水平只有 74 分，機器相差甚遠。后來(lái)通過(guò)不斷改進(jìn)，機器閱讀理解性能得以逐步地提高。2018 年 1 月，微軟亞洲研究院提交的 R-Net 系統首次在 SQuAD 數據集上以 82.65 的精準匹配的成績(jì)首次超越人類(lèi)在這一指標上的成績(jì)。隨后阿里巴巴、科大訊飛和哈工大的系統也在這一指標上超越人類(lèi)水平。標志著(zhù)閱讀理解技術(shù)進(jìn)入了一個(gè)新的階段。最近微軟亞洲研究院的 NL-Net 和谷歌的 BERT 系統又先后在模糊匹配指標上突破人類(lèi)水平。對于閱讀理解技術(shù)的推動(dòng)，除了 SQuAD 數據集起到了關(guān)鍵作用之外，還有如下三個(gè)方的因素：首先，是端到端的深度神經(jīng)網(wǎng)絡(luò )。其次，是預訓練的神經(jīng)網(wǎng)絡(luò );最后，是系統和網(wǎng)絡(luò )結構上的不斷創(chuàng )新。

　　4、機器創(chuàng )作

　　機器可以做很多理性的東西，也可以做出一些創(chuàng )造性的東西。

　　早在 2005 年，微軟亞洲研究院在時(shí)任院長(cháng)沈向洋的提議和支持下成功研發(fā)了《微軟對聯(lián)》系統。用戶(hù)出上聯(lián)，電腦對出下聯(lián)和橫批，語(yǔ)句非常工整。

　　在此基礎上，我們又先后開(kāi)發(fā)了格律詩(shī)和猜字謎的智能系統。在字謎游戲里，用戶(hù)給出謎面，讓系統猜出字，或系統給出謎面讓用戶(hù)猜出字。2017 年微軟研究院開(kāi)發(fā)了電腦寫(xiě)自由體詩(shī)系統、作詞譜曲系統。中央電視臺《機智過(guò)人》節目就曾播放過(guò)微軟的電腦作詞譜曲與人類(lèi)選手進(jìn)行詞曲創(chuàng )作比拼的內容。這件事說(shuō)明如果有大數據，那么深度學(xué)習就可以模擬人類(lèi)的創(chuàng )造智能，也可以幫助專(zhuān)家產(chǎn)生更好的想法。

　　就作詞來(lái)說(shuō)，寫(xiě)一首歌詞首先要決定主題。比如想寫(xiě)一首與“秋”，“歲月”，“滄?！?，“感嘆”相關(guān)的歌，利用詞向量表示技術(shù)，可知“秋風(fēng)”、“流年”、“歲月”、“變遷”等詞語(yǔ)比較相關(guān)，通過(guò)擴展主題可以約束生成的結果偏向人們想要的歌詞，接著(zhù)在主題模型的約束下用序列到序列的神經(jīng)網(wǎng)絡(luò )，用歌詞的上一句去生成下一句，如果是第一句，則用一個(gè)特殊的序列作為輸入去生成第一句歌詞，這樣循環(huán)生成歌詞的每一句。

　　下面也簡(jiǎn)介一下譜曲。為一首詞譜曲不單要考慮旋律是否好聽(tīng)，也要考慮曲與詞是否對應。這類(lèi)似于一個(gè)翻譯過(guò)程。不過(guò)這個(gè)翻譯中的對應關(guān)系比自然語(yǔ)言翻譯更為嚴格。它需嚴格規定每一個(gè)音符對應到歌詞中的每一個(gè)字。例如每一句有 N 個(gè)字，那么就需要將這句話(huà)對應的曲切分成 N 個(gè)部分，然后順序完成對應關(guān)系。這樣在“翻譯”過(guò)程中要“翻譯”出合理的曲譜，還要給出曲與詞之間的對應關(guān)系。我們利用了一個(gè)改進(jìn)的序列到序列的神經(jīng)網(wǎng)絡(luò )模型，完成從歌詞“翻譯”到曲譜的生成過(guò)程。