突破！阿里達摩院刷新VQA紀錄，AI再次超越人類(lèi)

近年來(lái)，在深度學(xué)習和大數據的支撐下，自然語(yǔ)言處理技術(shù)迅猛發(fā)展。而預訓練語(yǔ)言模型把自然語(yǔ)言處理帶入了一個(gè)新的階段，得到了工業(yè)界的廣泛關(guān)注。隨著(zhù)技術(shù)的發(fā)展，阿里巴巴達摩院在通用語(yǔ)言的基礎上，已拓展到多語(yǔ)言、生成式、多模態(tài)、結構化、知識驅動(dòng)等領(lǐng)域，不僅節省了大量的時(shí)間成本，還提高了效率。

8月12日，國際權威機器視覺(jué)問(wèn)答榜單 VQA Leaderboard 出現了關(guān)鍵突破：阿里巴巴達摩院以81.26%的準確率創(chuàng )造了新紀錄，讓 AI 在“詩(shī)圖會(huì )意”上首次超越人類(lèi)基準。這是繼2015年、2018年 AI 分別在視覺(jué)識別及文本理解領(lǐng)域超越人類(lèi)后，人工智能在多模態(tài)技術(shù)領(lǐng)域也迎來(lái)一大進(jìn)展。

（達摩院AliceMind在VQA Leaderboard上創(chuàng )造首次超越人類(lèi)的紀錄）

VQA是什么？

近10年來(lái)，AI技術(shù)保持高速發(fā)展，AI在下棋、視覺(jué)、文本理解等單模態(tài)技能上突飛猛進(jìn)，比如在視覺(jué)理解領(lǐng)域，以CNN為代表的卷積累模型2015年在ImageNet視覺(jué)分類(lèi)任務(wù)上超越了人類(lèi)成績(jì)；在文本理解領(lǐng)域，2018年微軟與阿里幾乎同時(shí)在斯坦福SQuAD挑戰賽上讓AI閱讀理解超越了人類(lèi)基準。

然而，在視覺(jué)問(wèn)答VQA(Visual Question Answering）這一涉及視覺(jué)-文本跨模態(tài)理解的高階認知任務(wù)上，AI過(guò)去始終未能達到人類(lèi)水平的突破。

隨著(zhù)深度學(xué)習、視覺(jué)理解、文本理解等領(lǐng)域高速發(fā)展，自然語(yǔ)言處理技術(shù)與計算機視覺(jué)交融逐漸成為多模態(tài)領(lǐng)域重要的前沿研究方向。其中，VQA是多模態(tài)領(lǐng)域挑戰極高的核心任務(wù)，解決VQA挑戰，對研發(fā)通用人工智能具有重要意義。

為鼓勵攻克這一難題，全球計算機視覺(jué)頂會(huì )CVPR從2015年起連續6年舉辦VQA挑戰賽，吸引了包括微軟、Facebook、斯坦福大學(xué)、阿里巴巴、百度等眾多頂尖機構踴躍參與，形成了國際上規模最大、認可度最高的VQA數據集，其中包含超20萬(wàn)張真實(shí)照片、110萬(wàn)道考題。

VQA是 AI 領(lǐng)域難度最高的挑戰之一。在測試中，AI需根據給定圖片及自然語(yǔ)言問(wèn)題生成正確的自然語(yǔ)言回答。這意味著(zhù)單個(gè)AI模型需融合復雜的計算機視覺(jué)及自然語(yǔ)言技術(shù)：首先對所有圖像信息進(jìn)行掃描，再結合對文本問(wèn)題的理解，利用多模態(tài)技術(shù)學(xué)習圖文的關(guān)聯(lián)性、精準定位相關(guān)圖像信息，最后根據常識及推理回答系列問(wèn)題。

今年6月，阿里達摩院在VQA 2021 Challenge的55支提交隊伍中奪冠，成績(jì)領(lǐng)先第二名約1個(gè)百分點(diǎn)、去年冠軍3.4個(gè)百分點(diǎn)。兩個(gè)月后，達摩院再次以81.26%的準確率創(chuàng )造VQA Leaderboard全球紀錄，首次超越人類(lèi)基準線(xiàn)80.83%。

這一結果意味著(zhù)，AI在封閉數據集內的VQA表現已媲美人類(lèi)。

面對更開(kāi)放的現實(shí)世界，AI一定會(huì )遇到新的挑戰,需要喂更多的數據、進(jìn)一步提升模型。但和CV等領(lǐng)域的發(fā)展一樣，這一結果依然具有標志性意義，相信VQA技術(shù)在現實(shí)中的表現提升只是時(shí)間問(wèn)題。

（VQA技術(shù)自2015年的進(jìn)展）

VQA“學(xué)霸”如何煉成？

VQA挑戰的核心難點(diǎn)在于，需在單模態(tài)精準理解的基礎上，整合多模態(tài)的信息進(jìn)行聯(lián)合推理認知，最終實(shí)現跨模態(tài)理解，即在統一模型里做不同模態(tài)的語(yǔ)義映射和對齊。

據了解，為了解決VQA挑戰，基于阿里云PAI 平臺及EFLOPS框架的工程底座，達摩院語(yǔ)言技術(shù)實(shí)驗室及視覺(jué)實(shí)驗室對AI視覺(jué)-文本推理體系進(jìn)行了系統性的設計，融合了大量算法創(chuàng )新，包括：

（1）多樣性的視覺(jué)特征表示，從各方面刻畫(huà)圖片的局部和全局語(yǔ)義信息，同時(shí)使用Region，Grid，Patch等視覺(jué)特征表示，以更精準地進(jìn)行單模態(tài)理解；

（2）基于海量圖文數據和多粒度視覺(jué)特征的多模態(tài)預訓練，用于更好地進(jìn)行多模態(tài)信息融合和語(yǔ)義映射，創(chuàng )新性地提出了SemVLP，Grid-VLP，E2E-VLP和Fusion-VLP等預訓練模型；

（3）研發(fā)自適應的跨模態(tài)語(yǔ)義融合和對齊技術(shù)，創(chuàng )新性地在多模態(tài)預訓練模型中加入Learning to Attend機制來(lái)進(jìn)行跨模態(tài)信息地高效深度融合；

（4）采用Mixture ofExperts (MOE)技術(shù)進(jìn)行知識驅動(dòng)的多技能AI集成。

其中自研的多模態(tài)預訓練模型E2E-VLP，StructuralLM已被國際頂級會(huì )議ACL2021接受。

模型大圖如下：

這不是達摩院第一次在A(yíng)I關(guān)鍵領(lǐng)域超越人類(lèi)。

早在2018年，作為業(yè)界最早投入預訓練語(yǔ)言模型研究的機構之一，達摩院前身IDST曾在斯坦福SQuAD挑戰賽中歷史性地讓機器閱讀理解首次超越人類(lèi)，轟動(dòng)全球。

今年以來(lái)，達摩院在A(yíng)I底層技術(shù)領(lǐng)域動(dòng)作頻頻。

從3月起，達摩院先后發(fā)布了中國科技公司中首個(gè)超大規模多模態(tài)預訓練模型M6及首個(gè)超大規模中文語(yǔ)言模型PLUG,并開(kāi)源了歷經(jīng)3年打造的深度語(yǔ)言模型體系 AliceMind（https://github.com/alibaba/AliceMind），其曾登頂 GLUE等六大國際權威NLP榜單。

VQA考高分有什么用？

達摩院語(yǔ)言技術(shù)實(shí)驗室負責人司羅認為，“人工智能分為計算智能、感知智能、認知智能、創(chuàng )造智能四個(gè)層次?！?/p>

本次，AI在視覺(jué)—文本跨模態(tài)理解及推理上媲美人類(lèi)的水平，意味著(zhù)AI向認知智能邁進(jìn)了關(guān)鍵一步。

據了解，VQA技術(shù)擁有廣闊的應用場(chǎng)景，可用于圖文閱讀、跨模態(tài)搜索、盲人視覺(jué)問(wèn)答、醫療問(wèn)診、智能駕駛、虛擬主播等領(lǐng)域，或將變革人機交互方式。目前，VQA技術(shù)已在阿里內部廣泛應用于商品圖文理解、智能客服等場(chǎng)景。

在阿里平臺上，達摩院VQA能力已實(shí)現大范圍工業(yè)應用落地，典型VQA應用包括：

（1）商品圖文信息理解：數萬(wàn)家淘寶天貓商家開(kāi)通使用店小蜜客服VQA視覺(jué)問(wèn)答功能，AI幫助提升了提問(wèn)解決率，優(yōu)化了買(mǎi)家體驗，降低了商家配置工作量。盒馬、考拉的客服場(chǎng)景，閑魚(yú)的圖文同款匹配場(chǎng)景也接入了VQA能力。

淘寶店小蜜VQA能力詳解：

a)商家精心制作的商品詳情海報內，蘊含著(zhù)大量有價(jià)值的商品信息。

b)消費者對商品進(jìn)行提問(wèn)時(shí)，AI客服可通過(guò)理解、檢索商品海報進(jìn)行回答，如裁切一張小圖作為答案，一方面為消費者帶來(lái)了更好的交互體驗，另一方面為賣(mài)家節省了大量配置成本。

VQA不僅可以回答事實(shí)類(lèi)問(wèn)題，還可以回答非事實(shí)類(lèi)、主觀(guān)類(lèi)問(wèn)題。

（2）直播視頻交互：VQA技術(shù)被應用于智能直播間等多模態(tài)人機交互場(chǎng)景中，幫助解決直播中多模態(tài)劇本構建、多模態(tài)語(yǔ)義問(wèn)答等問(wèn)題。

（3）多模態(tài)搜索：基于創(chuàng )新性的多模態(tài)預訓練方法，達摩院為AliExpress訓練了電商多模態(tài)通用模型，應用于搜索query相關(guān)性排序等需要圖文理解的場(chǎng)景，有效提升了搜索相關(guān)性。

據悉，VQA技術(shù)在電商領(lǐng)域成熟運用后，阿里計劃將其推廣至醫療問(wèn)診等更廣泛的社會(huì )應用領(lǐng)域。

VQA考卷有多難？

對單一AI模型來(lái)說(shuō)，VQA考卷難度堪稱(chēng)“變態(tài)”。

要拿到漂亮的分數，AI不僅要修煉好圖像識別、文本識別、文本理解等基本功，還要解鎖計數、讀鐘表、推理認知等附加技能，此外還必須擁有百科全書(shū)的豐富常識。

比如，在下面這道VQA考題中，根據有禮服裝飾的小熊玩具照片+圖片“這些玩具用來(lái)做什么的？”AI需要成功推理出一個(gè)可能的答案“婚禮”。

6年前，這些問(wèn)題對AI來(lái)說(shuō)難度極高。經(jīng)過(guò)多年的技術(shù)積累，達摩院AliceMind在VQA測試中拿到了超81分的成績(jì)，基本達到普通人看圖問(wèn)答的水準。

相信AI未來(lái)將給人類(lèi)帶來(lái)更多驚喜。

論文鏈接：

1. E2E-VLP: End-to-EndVision-Language Pre-training Enhanced by Visual Learning, ACL2021

2. A Structural Pre-trained Modelfor Table and Form Understanding, ACL 2021

3. SemVLP: Vision-LanguagePre-training by Aligning Semantics at Multiple Levels