讀題還是讀你？剝開(kāi)機器閱讀理解的神秘外衣

　　最近一個(gè)有意思的現象，是機器閱讀理解突然開(kāi)始熱絡(luò )了起來(lái)。

　　2月21日，百度自然語(yǔ)言處理團隊研發(fā)的V-Net模型以46.15的Rouge-L得分登上微軟的MS MARCO(Microsoft MAchine Reading COmprehension)機器閱讀理解測試排行榜首。

　　加上此前斯坦福大學(xué)的SQuAD競賽中，阿里、哈工大訊飛聯(lián)合實(shí)驗室等團隊先后超越了人類(lèi)平均水平。這意味著(zhù)，機器閱讀理解領(lǐng)域的兩大頂級賽事：MS MARCO和SQuAD的記錄先后由中國團隊打破。

　　但在熱鬧的“軍備競賽”之余，機器閱讀理解領(lǐng)域的深處并非一團和氣。各種爭議和辯論正在這場(chǎng)“機器答題大秀”背后上演。

　　比如說(shuō)，為什么微軟要緊隨SQuAD之后另起爐灶，發(fā)布自己的數據集和競賽?學(xué)術(shù)界關(guān)于機器閱讀理解的爭議為何一直不斷?

　　這些疑問(wèn)或許可以最終歸因到一個(gè)問(wèn)題：讓AI做閱讀理解，到底有什么用?

　　我們來(lái)聊聊“閱讀理解圈”的江湖恩怨，以及接下來(lái)可預見(jiàn)的技術(shù)應用未來(lái)。

　　兩大數據集對峙：機器閱讀理解的問(wèn)題與爭議

　　所謂的機器閱讀理解，基本概念跟咱們上學(xué)時(shí)做的閱讀理解題很相似，同樣都是給出一段材料和問(wèn)題，讓“考生”給出正確答案。所不同的，僅僅是機器閱讀理解的主角變成了AI模型而已。

　　而機器閱讀理解領(lǐng)域的比賽方式，就像斯坦福大學(xué)著(zhù)名的AI競賽ImageNet一樣，都是由一個(gè)官方給定的數據集+一場(chǎng)跑分競賽組成。各大科技巨頭和世界名校的AI研究團隊是主要參賽選手。

　　百度此次參與的機器閱讀理解比賽，是微軟在2016年末發(fā)布的MS MARCO。

　　這個(gè)賽事有趣的地方在于，其運用的訓練數據是微軟在產(chǎn)品實(shí)踐中，從真實(shí)用戶(hù)那里收集來(lái)的問(wèn)題和答案。

　　這個(gè)數據集的問(wèn)題全部來(lái)自于BING的搜索日志，然后又整理了這些問(wèn)題獲得的人工答案作為訓練數據。這樣做的優(yōu)點(diǎn)在于，可以讓AI模型通過(guò)最接近真實(shí)應用的語(yǔ)境來(lái)進(jìn)行學(xué)習、訓練和反向實(shí)踐，完成“學(xué)以致用”的小目標。

　　圈內普遍認為，微軟這么不容易地搜集一個(gè)源自真實(shí)網(wǎng)絡(luò )的數據集，就是希望硬懟斯坦福大學(xué)的SQuAD。

　　2016年早些時(shí)候，斯坦福大學(xué)相關(guān)團隊制作了一個(gè)用來(lái)測試AI模型閱讀理解能力的數據集。與MS MARCO不同，SQuAD主要訓練數據是來(lái)自維基百科的536篇文章，以及由人類(lèi)閱讀這些文章后，提出的10萬(wàn)多個(gè)問(wèn)題及相關(guān)答案。

　　這種非常像校園考試的數據設定，從誕生之日起就爭議不斷。比如NLP領(lǐng)域的大牛Yoav Goldberg就認為這個(gè)數據集有些太過(guò)片面。SQuAD受到指責的地方，主要可以分為三個(gè)層面：

　　1、問(wèn)題過(guò)分簡(jiǎn)單。問(wèn)題的答案主要源自于文檔中的一個(gè)片段，真實(shí)應用場(chǎng)景中很少遇到這樣的問(wèn)題。

　　2、數據多樣性不足。SQuAD只有500多篇文章，內容不夠豐富，訓練出的模型被質(zhì)疑難以處理其他數據或者更復雜的問(wèn)題。

　　3、通用性不強。為了跑分的方便，SQuAD的問(wèn)題結構比較簡(jiǎn)單，涉及到的機器“推理”一面偏弱，導致其實(shí)用性數次受到懷疑。

　　舉個(gè)簡(jiǎn)單的例子來(lái)描述一下兩個(gè)數據集之間的不同：SQuAD大多數問(wèn)題的答案來(lái)自文檔本身，從文檔中“復制粘貼”就能完成回答，這樣模式固然更加方便，但客觀(guān)上對問(wèn)題類(lèi)型和答案范圍都做了限制，建立在SQuAD上的問(wèn)題通常更加直白簡(jiǎn)單。而MS MARCO的問(wèn)題則更傾向真實(shí)的語(yǔ)言環(huán)境，需要智能體推理語(yǔ)境進(jìn)行分析。

　　蘿卜白菜各有所愛(ài)，有人認為SQuAD是最方便測試的機器閱讀理解比賽，也有人堅持MS MARCO是最接近人類(lèi)問(wèn)答習慣的競賽。但爭論的背后或許有一個(gè)共識正在浮現：機器閱讀理解的應用性，已經(jīng)開(kāi)始受到產(chǎn)業(yè)的廣泛關(guān)注。

　　進(jìn)擊的數據集：AI閱讀也要重視“素質(zhì)教育”

　　當然，MS MARCO的數據集結構同樣也有很多爭議。但相類(lèi)似的“從生活中來(lái)”的機器閱讀理解訓練數據集正在越來(lái)越多。一句話(huà)總結這種趨勢，大概就是大家發(fā)現，該讓AI從“應試教育”變成“素質(zhì)教育”了。

　　結構緊湊、體系清晰的SQuAD，雖然可以非常便捷地展現出AI模型的測試結果，但拓展性和實(shí)用性始終受到指責。許多學(xué)者認為，這個(gè)數據集有些被過(guò)分“考試化”了，導致其最終變成為了競賽而競賽。

　　而直接從互聯(lián)網(wǎng)文本與產(chǎn)品實(shí)踐問(wèn)題中訓練出的模型，被認為距離應用性更近。

　　其實(shí)仔細想想，機器閱讀理解這項技術(shù)，從來(lái)都不是紙上談兵的“象牙塔派”，在我們已經(jīng)熟悉的互聯(lián)網(wǎng)應用中，就有大量只能依靠機器閱讀理解來(lái)解決的難題。

　　舉個(gè)例子，當用戶(hù)在搜索引擎尋找答案的時(shí)候，傳統方案只能依靠用戶(hù)互助來(lái)回答，正確性和效率都嚴重不足。但智能體進(jìn)行回答，就不能只依靠關(guān)鍵詞填空來(lái)處理。比如絕不會(huì )有用戶(hù)提問(wèn)“()是我國最長(cháng)的河流?”;更多情況用戶(hù)會(huì )詢(xún)問(wèn)復雜的問(wèn)題，需要完整的解決方案和建議。那么，從真實(shí)提問(wèn)數據中學(xué)習理解材料、回答問(wèn)題的方案，近乎于A(yíng)I技術(shù)滿(mǎn)足搜索引擎體驗升級的唯一出路。

　　再比如最近爭議不斷的內容推薦領(lǐng)域。今日頭條最近反復出狀況，很大程度來(lái)源于輿論指責其過(guò)度依賴(lài)關(guān)鍵詞進(jìn)行算法推薦，忽略了用戶(hù)的對文章深度與知識性的需求。造成這種情況的原因之一，就在于算法的機器閱讀理解能力不夠，無(wú)法閱讀真實(shí)的互聯(lián)網(wǎng)材料，給出個(gè)性化的推薦結果。

　　除此之外，語(yǔ)音助手、智能客服等領(lǐng)域，都大量依靠于機器閱讀理解閱讀真實(shí)問(wèn)題、真實(shí)互聯(lián)網(wǎng)材料，給出完整答案的AI能力。從真實(shí)數據中訓練AI，可能是破解這些難題的唯一途徑。

　　中文、通識、應用：可預見(jiàn)的MRC未來(lái)

　　在我們猜想機器閱讀理解的未來(lái)時(shí)，會(huì )看到幾個(gè)比較明顯的趨勢。

　　首當其沖，目前機器閱讀理解的訓練數據集和競賽，大部分集中在英文領(lǐng)域。這個(gè)尷尬正在一步步被打破。

　　比如百度在去年發(fā)布了與微軟MS MARCO結構類(lèi)似全中文數據集DuReader。其首批發(fā)布的數據集包含20萬(wàn)真實(shí)問(wèn)題，100萬(wàn)互聯(lián)網(wǎng)真實(shí)文檔，以及42萬(wàn)人工撰寫(xiě)生成的答案。由此可見(jiàn)，在中國團隊一次次挑戰英文機器閱讀理解記錄的同時(shí)，直接作用于中文世界的機器閱讀理解應該已經(jīng)不遠了。

　　另一方面，機器閱讀理解的技術(shù)能力如何通用化、泛在化，與各種其他NLP技術(shù)體系相擬合，似乎成為了廣為關(guān)注的話(huà)題。讓機器能“理解”的同時(shí)，還能歸納、能思考、能創(chuàng )作，勾勒出完整的Deep NLP時(shí)代，也已經(jīng)提上了日程。

　　再者，將機器閱讀理解能力投入搜索、問(wèn)答等應用領(lǐng)域，產(chǎn)生現實(shí)價(jià)值的應用案例正在增多。相信不久的未來(lái)，機器閱讀理解工具化、集成化，可以滲透到各行各業(yè)當中，成為一種信息世界的主流解決方案。

　　比較大概率的狀況，大概是不久的將來(lái)，我們會(huì )在信息流中感受到了種難以具體形容卻又真實(shí)存在的體驗提升。那就是因為機器正在“讀你”，而不是“讀題”。