微軟亞洲研究院：NLP將迎來(lái)黃金十年

　　趨勢熱點(diǎn)：值得關(guān)注的 NLP 技術(shù)

　　從最近的 NLP 研究中，我們認為有一些技術(shù)發(fā)展趨勢值得關(guān)注，這里總結了五個(gè)方面：

　　熱點(diǎn)一，預訓練神經(jīng)網(wǎng)絡(luò )

　　如何學(xué)習更好的預訓練的表示，在一段時(shí)間內繼續成為研究的熱點(diǎn)。

　　通過(guò)類(lèi)似于語(yǔ)言模型的方式來(lái)學(xué)習詞的表示，其用于具體任務(wù)的范式得到了廣泛應用。這幾乎成為自然語(yǔ)言處理的標配。這個(gè)范式的一個(gè)不足是詞表示缺少上下文，對上下文進(jìn)行建模依然完全依賴(lài)于有限的標注數據進(jìn)行學(xué)習。實(shí)際上，基于深度神經(jīng)網(wǎng)絡(luò )的語(yǔ)言模型已經(jīng)對文本序列進(jìn)行了學(xué)習。如果把語(yǔ)言模型關(guān)于歷史的那部分參數也拿出來(lái)應用，那么就能得到一個(gè)預訓練的上下文相關(guān)的表示。這就是 Matthew Peters 等人在 2018 年 NAACL 上的論文“Deep Contextualized Word Representations”的工作，他們在大量文本上訓練了一個(gè)基于 LSTM 的語(yǔ)言模型。最近 Jacob Delvin 等人又取得了新的進(jìn)展，他們基于多層 Transformer 機制，利用所謂“MASKED”模型預測句子中被掩蓋的詞的損失函數和預測下一個(gè)句子的損失函數所預訓練得到的模型“BERT”，在多個(gè)自然語(yǔ)言處理任務(wù)上取得了當前最好的水平。以上提到的所有的預訓練的模型，在應用到具體任務(wù)時(shí)，先用這個(gè)語(yǔ)言模型的 LSTM 對輸入文本得到一個(gè)上下文相關(guān)的表示，然后再基于這個(gè)表示進(jìn)行具體任務(wù)相關(guān)的建模學(xué)習。結果表明，這種方法在語(yǔ)法分析、閱讀理解、文本分類(lèi)等任務(wù)都取得了顯著(zhù)的提升。最近一段時(shí)間，這種預訓練模型的研究成為了一個(gè)研究熱點(diǎn)。

　　如何學(xué)習更好的預訓練的表示在一段時(shí)間內將繼續成為研究的熱點(diǎn)。在什么粒度(word，sub-word，character)上進(jìn)行預訓練，用什么結構的語(yǔ)言模型(LSTM，Transformer 等)訓練，在什么樣的數據上(不同體裁的文本)進(jìn)行訓練，以及如何將預訓練的模型應用到具體任務(wù)，都是需要繼續研究的問(wèn)題?，F在的預訓練大都基于語(yǔ)言模型，這樣的預訓練模型最適合序列標注的任務(wù)，對于問(wèn)答一類(lèi)任務(wù)依賴(lài)于問(wèn)題和答案兩個(gè)序列的匹配的任務(wù)，需要探索是否有更好的預訓練模型的數據和方法。將來(lái)很可能會(huì )出現多種不同結構、基于不同數據訓練得到的預訓練模型。針對一個(gè)具體任務(wù)，如何快速找到合適的預訓練模型，自動(dòng)選擇最優(yōu)的應用方法，也是一個(gè)可能的研究課題。

　　熱點(diǎn)二，遷移學(xué)習和多任務(wù)學(xué)習

　　對于那些本身缺乏充足訓練數據的自然語(yǔ)言處理任務(wù)，遷移學(xué)習有著(zhù)非常重要和實(shí)際的意義。多任務(wù)學(xué)習則用于保證模型能夠學(xué)到不同任務(wù)間共享的知識和信息。

　　不同的 NLP 任務(wù)雖然采用各自不同類(lèi)型的數據進(jìn)行模型訓練，但在編碼器(Encoder)端往往是同構的。例如，給定一個(gè)自然語(yǔ)言句子 who is the Microsoft founder，機器翻譯模型、復述模型和問(wèn)答模型都會(huì )將其轉化為對應的向量表示序列，然后再使用各自的解碼器完成后續翻譯、改寫(xiě)和答案生成 (或檢索) 任務(wù)。因此，可以將不同任務(wù)訓練得到的編碼器看作是不同任務(wù)對應的一種向量表示，并通過(guò)遷移學(xué)習(Transfer Learning)的方式將這類(lèi)信息遷移到目前關(guān)注的目標任務(wù)上來(lái)。對于那些本身缺乏充足訓練數據的自然語(yǔ)言處理任務(wù)，遷移學(xué)習有著(zhù)非常重要和實(shí)際的意義。

　　多任務(wù)學(xué)習(Multi-task Learning)可通過(guò)端到端的方式，直接在主任務(wù)中引入其他輔助任務(wù)的監督信息，用于保證模型能夠學(xué)到不同任務(wù)間共享的知識和信息。Collobert 和 Weston 早在 2008 年就最早提出了使用多任務(wù)學(xué)習在深度學(xué)習框架下處理 NLP 任務(wù)的模型。最近 Salesforce 的 McCann 等提出了利用問(wèn)答框架使用多任務(wù)學(xué)習訓練十項自然語(yǔ)言任務(wù)。每項任務(wù)的訓練數據雖然有限，但是多個(gè)任務(wù)共享一個(gè)網(wǎng)絡(luò )結構，提升對來(lái)自不同任務(wù)的訓練數據的綜合利用能力。多任務(wù)學(xué)習可以設計為對諸任務(wù)可共建和共享網(wǎng)絡(luò )的核心層次，而在輸出層對不同任務(wù)設計特定的網(wǎng)絡(luò )結構。

　　熱點(diǎn)三，知識和常識的引入

　　如何在自然語(yǔ)言理解模塊中更好地使用知識和常識，已經(jīng)成為目前自然語(yǔ)言處理領(lǐng)域中一個(gè)重要的研究課題。

　　隨著(zhù)人們對人機交互(例如智能問(wèn)答和多輪對話(huà))要求的不斷提高，如何在自然語(yǔ)言理解模塊中更好地使用領(lǐng)域知識，已經(jīng)成為目前自然語(yǔ)言處理領(lǐng)域中一個(gè)重要的研究課題。這是由于人機交互系統通常需要具備相關(guān)的領(lǐng)域知識，才能更加準確地完成用戶(hù)查詢(xún)理解、對話(huà)管理和回復生成等任務(wù)。

　　最常見(jiàn)的領(lǐng)域知識包括維基百科和知識圖譜兩大類(lèi)。機器閱讀理解是基于維基百科進(jìn)行自然語(yǔ)言理解的一個(gè)典型任務(wù)。給定一段維基百科文本和一個(gè)自然語(yǔ)言問(wèn)題，機器閱讀理解任務(wù)的目的是從該文本中找到輸入問(wèn)題對應的答案短語(yǔ)片段。語(yǔ)義分析是基于知識圖譜進(jìn)行自然語(yǔ)言理解的另一個(gè)典型任務(wù)。給定一個(gè)知識圖譜(例如 Freebase)和一個(gè)自然語(yǔ)言問(wèn)題，語(yǔ)義分析任務(wù)的目的是將該問(wèn)題轉化為機器能夠理解和執行的語(yǔ)義表示。目前，機器閱讀理解和語(yǔ)義分析可以說(shuō)是最熱門(mén)的自然語(yǔ)言理解任務(wù)，它們受到了來(lái)自全世界研究者的廣泛關(guān)注和深入探索。

　　常識指絕大多數人都了解并接受的客觀(guān)事實(shí)，例如海水是咸的、人渴了就想喝水、白糖是甜的等。常識對機器深入理解自然語(yǔ)言非常重要，在很多情況下，只有具備了一定程度的常識，機器才有可能對字面上的含義做出更深一層次的理解。然而獲取常識卻是一個(gè)巨大的挑戰，一旦有所突破將是影響人工智能進(jìn)程的大事情。另外，在 NLP 系統中如何應用常識尚無(wú)深入的研究，不過(guò)出現了一些值得關(guān)注的工作。

　　熱點(diǎn)四，低資源的 NLP 任務(wù)

　　引入領(lǐng)域知識(詞典、規則)可以增強數據能力、基于主動(dòng)學(xué)習的方法增加更多的人工標注數據等，以解決數據資源貧乏的問(wèn)題。

　　面對標注數據資源貧乏的問(wèn)題，譬如小語(yǔ)種的機器翻譯、特定領(lǐng)域對話(huà)系統、客服系統、多輪問(wèn)答系統等，NLP 尚無(wú)良策。這類(lèi)問(wèn)題統稱(chēng)為低資源的 NLP 問(wèn)題。對這類(lèi)問(wèn)題，除了設法引入領(lǐng)域知識(詞典、規則)以增強數據能力之外，還可以基于主動(dòng)學(xué)習的方法來(lái)增加更多的人工標注數據，以及采用無(wú)監督和半監督的方法來(lái)利用未標注數據，或者采用多任務(wù)學(xué)習的方法來(lái)使用其他任務(wù)甚至其他語(yǔ)言的信息，還可以使用遷移學(xué)習的方法來(lái)利用其他的模型。

　　以機器翻譯為例，對于稀缺資源的小語(yǔ)種翻譯任務(wù)，在沒(méi)有常規雙語(yǔ)訓練數據的情況下，首先通過(guò)一個(gè)小規模的雙語(yǔ)詞典(例如僅包含 2000 左右的詞對)，使用跨語(yǔ)言詞向量的方法將源語(yǔ)言和目標語(yǔ)言詞映射到同一個(gè)隱含空間。在該隱含空間中， 意義相近的源語(yǔ)言和目標語(yǔ)言詞具有相近的詞向量表示?；谠撜Z(yǔ)義空間中詞向量的相似程度構建詞到詞的翻譯概率表，并結合語(yǔ)言模型，便可以構建基于詞的機器翻譯模型。使用基于詞的翻譯模型將源語(yǔ)言和目標語(yǔ)言單語(yǔ)語(yǔ)料進(jìn)行翻譯，構建出偽雙語(yǔ)數據。于是，數據稀缺的問(wèn)題通過(guò)無(wú)監督的學(xué)習方法產(chǎn)生偽標注數據，就轉化成了一個(gè)有監督的學(xué)習問(wèn)題。接下來(lái)，利用偽雙語(yǔ)數據訓練源語(yǔ)言到目標語(yǔ)言以及目標語(yǔ)言到源語(yǔ)言的翻譯模型，隨后再使用聯(lián)合訓練的方法結合源語(yǔ)言和目標語(yǔ)言的單語(yǔ)數據，可以進(jìn)一步提高兩個(gè)翻譯系統的質(zhì)量。

　　為了提高小語(yǔ)種語(yǔ)言的翻譯質(zhì)量，我們提出了利用通用語(yǔ)言之間大規模的雙語(yǔ)數據，來(lái)聯(lián)合訓練四個(gè)翻譯模型的期望最大化訓練方法(Ren et al.， 2018)。該方法將小語(yǔ)種(例如希伯來(lái)語(yǔ))作為有著(zhù)豐富語(yǔ)料的語(yǔ)種(例如中文)和(例如英語(yǔ))之間的一個(gè)隱含狀態(tài)，并使用通用的期望最大化訓練方法來(lái)迭代地更新 X 到 Z、Z 到 X、Y 到 Z 和 Z 到 Y 之間的四個(gè)翻譯模型，直至收斂。

　　熱點(diǎn)五，多模態(tài)學(xué)習

　　視覺(jué)問(wèn)答作為一種典型的多模態(tài)學(xué)習任務(wù)，在近年來(lái)受到計算機視覺(jué)和自然語(yǔ)言處理兩個(gè)領(lǐng)域研究人員的重點(diǎn)關(guān)注。

　　嬰兒在掌握語(yǔ)言功能前，首先通過(guò)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等感官去認識并了解外部世界?？梢?jiàn)，語(yǔ)言并不是人類(lèi)在幼年時(shí)期與外界進(jìn)行溝通的首要手段。因此，構建通用人工智能也應該充分地考慮自然語(yǔ)言和其他模態(tài)之間的互動(dòng)，并從中進(jìn)行學(xué)習，這就是多模態(tài)學(xué)習。