攻陷無(wú)人區：百度大腦破解了這個(gè)應用頑疾

　　人與機器之間，有太多秘密隱藏在未知以下。

　　比如說(shuō)AI帶來(lái)的語(yǔ)義理解與語(yǔ)音喚醒式人機交互，雖然被大家說(shuō)的很神，但其實(shí)有大量難關(guān)沒(méi)有被攻破。AI語(yǔ)音交互，往往還以來(lái)初級的符碼轉化和模塊調用，真正讓機器像人一樣去理解世界，還有很長(cháng)的路要走。

　　好在對人機交互深層秘密的探索，在今天并沒(méi)有停步。一些全新的技術(shù)應用化，正在加強人與機器如何交流、協(xié)作甚至相互理解的無(wú)盡可能。

　　在剛剛的百度AI開(kāi)發(fā)者大會(huì )中，一個(gè)重磅升級是百度大腦升級了3.0版本。這次升級之所以引人注目，是因為其在業(yè)界首次提出了“多模態(tài)深度語(yǔ)義理解”。

　　多模態(tài)、深度語(yǔ)義理解，這些都是我們經(jīng)常在A(yíng)I論文中看到的名詞，但似乎從來(lái)沒(méi)有科技巨頭把這個(gè)詞作為關(guān)鍵信息進(jìn)行產(chǎn)業(yè)披露。這是為什么?

　　其中的隱藏信息，是人機交互通往多模態(tài)結合、深度轉譯之路上，一座難以翻越的高峰。

　　多模態(tài)深度語(yǔ)義理解技術(shù)，就像一個(gè)沉睡的沙漏一樣，始終隱藏在細沙之下，讓人難以見(jiàn)到真正的應用魅力。而百度大腦的3.0升級，似乎將這個(gè)沉睡經(jīng)年的沙漏倒轉了過(guò)來(lái)，最神秘的AI領(lǐng)域，開(kāi)始在技術(shù)沙粒的流逝間展露了本來(lái)面目。

　　人機交互的秘密：AI界有個(gè)雪域高原

　　20世紀上半葉，社會(huì )符號學(xué)提出了模態(tài)分析的話(huà)語(yǔ)批判方式，而后模態(tài)理論逐步走入各個(gè)學(xué)科，成為自然科學(xué)、計算機科學(xué)與人文科學(xué)的重要三岔口之一。而在自然語(yǔ)言處理成為AI重鎮之后，多模態(tài)話(huà)語(yǔ)融合也開(kāi)始被AI思想家們提上了日程。

　　我們知道，AI進(jìn)行語(yǔ)音交互時(shí)的基本邏輯，是要把一切語(yǔ)音進(jìn)行識別，轉化為文字符碼再進(jìn)行文本理解。而語(yǔ)音理解與視覺(jué)、傳感相關(guān)的模態(tài)融合更是難上加難，堪稱(chēng)人機交互進(jìn)程中的“高海拔地帶”。

　　但我們不妨思考一下，人的思維方式其實(shí)并不是單一模態(tài)的信息轉化。而是五感并用，語(yǔ)音語(yǔ)義一體化理解，無(wú)間隙給出交流反應。

　　換言之，機器最接近人的交流方式，就是多模態(tài)輸入與融合化的語(yǔ)義理解。而類(lèi)似自然交互的技術(shù)難點(diǎn)，在于不同模態(tài)的視覺(jué)、語(yǔ)音、語(yǔ)音、傳感信號，是構建在完全不同的數據編碼之上的。整合與再學(xué)習始終都是AI領(lǐng)域的難點(diǎn)，尤其是應用領(lǐng)域的難點(diǎn)。

　　價(jià)值極大，難度極高，把多模態(tài)深度語(yǔ)義理解堆積成了AI領(lǐng)域的雪域高原。無(wú)數開(kāi)發(fā)者都在翹首以盼先導者能夠翻越這座大山。

　　在這次百度AI開(kāi)發(fā)者大會(huì )上，百度大腦非常自信地將升級矛頭對準了這個(gè)最神秘的AI沙漏。主打多模態(tài)深度語(yǔ)義理解技術(shù)的底層開(kāi)發(fā)，可謂打開(kāi)了通往無(wú)盡技術(shù)應用與難預測上線(xiàn)的AI大門(mén)。

　　技術(shù)乘法：多模態(tài)深度語(yǔ)義理解的應用流沙效應

　　多模態(tài)深度語(yǔ)義理解之所以重要，從應用的角度看，是因為它把視覺(jué)、語(yǔ)音、語(yǔ)義、傳感，以及泛深度學(xué)習類(lèi)交互整合到了一起，讓技術(shù)間不再是并行的通道，而是打開(kāi)了彼此融合的想象之門(mén)，并且在利用深度學(xué)習技術(shù)，強化了語(yǔ)義理解的精準度與容納范疇，視線(xiàn)了語(yǔ)音語(yǔ)義的一體化融合?？梢韵胍?jiàn)的是，多模態(tài)深度語(yǔ)義理解，將會(huì )在技術(shù)突破之后帶來(lái)大量的眼神技術(shù)與子應用，從而改變我們對AI識別、語(yǔ)音控制、人機交互的邊界認識。

　　或許從此以后，AI技術(shù)將不僅僅是做加法，更有可能產(chǎn)生技術(shù)細節之間的乘法效應。從百度大腦3.0公布的技術(shù)案例，我們已經(jīng)可以看出類(lèi)似乘法效應：

　　在A(yíng)I開(kāi)發(fā)者大會(huì )期間，對多模態(tài)深度語(yǔ)義理解技術(shù)最直接的感受，在于技術(shù)能力突破之后應用邊界的想象力爆棚。

　　比如說(shuō)百度大腦3.0帶來(lái)的視覺(jué)語(yǔ)義化技術(shù)，可以讓機器從看清到看懂視頻的內容。比如在新零售場(chǎng)景中，攝像頭可以通過(guò)視頻語(yǔ)義化來(lái)直接理解顧客的行為動(dòng)作，以及選取了哪些商品。這樣就無(wú)需再有復雜的識別條碼、刷臉等流程，顧客可以真正的拿起商品就走，產(chǎn)生毫無(wú)時(shí)間影響的購物體驗。

　　另一個(gè)多模態(tài)深度語(yǔ)義理解的技術(shù)應用，是語(yǔ)音語(yǔ)義一體化帶來(lái)的。在使用語(yǔ)音導航長(cháng)Query時(shí)，我們經(jīng)常要簡(jiǎn)單明了的說(shuō)清楚導航目標，但假如我們的導航需求比較復雜，或者我們也不太清楚具體的地名，那就會(huì )很麻煩。導航中的AI識別只能進(jìn)行文本喚醒，無(wú)法去理解使用者的想法。

　　在百度開(kāi)發(fā)者大會(huì )現場(chǎng)，我們已經(jīng)見(jiàn)識到在語(yǔ)音語(yǔ)義一體化技術(shù)加持后，百度地圖的用戶(hù)可以像繞口令一樣說(shuō)出大量?jì)热?，百度大腦會(huì )同步聽(tīng)清、聽(tīng)懂和理解相關(guān)含義，給出最佳導航路線(xiàn)。

　　類(lèi)似的案例還有很多，從中我們可以發(fā)現，多模態(tài)深度語(yǔ)義理解讓AI技術(shù)沙漏中的每一顆沙子，都可以排列組合出未知中的驚喜。

　　戳破最后隔膜：百度大腦3.0的3件禮物

　　當開(kāi)發(fā)者想要從傳統AI賽道，進(jìn)入神秘的深層人機交互，需要的并不是高屋建瓴的設想，也不是多么科幻的技術(shù)示范。而是腳踏實(shí)地，真正建立可以按部就班展開(kāi)學(xué)習、嘗試與創(chuàng )造的多模態(tài)AI路徑。而百度大腦的3.0升級，帶來(lái)了多模態(tài)世界的3個(gè)禮物，可以說(shuō)是帶給開(kāi)發(fā)者的核心保障：

　　1、告別算力問(wèn)題的“昆侖”：在A(yíng)I開(kāi)發(fā)者大會(huì )上，百度大腦3.0首次將芯片納入技術(shù)體系，推出了百度自主研發(fā)的中國第一款云端全功能AI芯片“昆侖”。據了解，昆侖的AI任務(wù)處理速度比此前我們常用的FPGA方案快30倍以上。高性能、高性?xún)r(jià)比，且具有易用性的云端AI芯片，可以與百度的整體AI技術(shù)體系結合，帶給百度大腦的用戶(hù)與開(kāi)發(fā)者更多想象力。

　　2、跳躍的PaddlePaddle：在今年的開(kāi)發(fā)者大會(huì )上，百度公布了PaddlePaddle3.0，在與自主芯片結合，打造全棧解決方案和平臺化建設之余，新的PaddlePaddle還開(kāi)放了多種平臺，為不同層級的開(kāi)發(fā)者提供更簡(jiǎn)單的開(kāi)發(fā)與訓練。其中AutoDL可以自動(dòng)地進(jìn)行網(wǎng)絡(luò )結構設計;AIStudio是一個(gè)非常實(shí)用的在線(xiàn)訓練平臺。靈活利用更加富有生態(tài)化意味的PaddlePaddle，開(kāi)發(fā)者的工作或將得到翻天覆地的變化。

　　3、便捷獲取AI的開(kāi)發(fā)者權能：開(kāi)發(fā)者另一個(gè)核心需求，是有足夠多的技術(shù)應用支撐，來(lái)滿(mǎn)足天馬行空的想象力。假如只有高度抽象，雷同程度很高的技術(shù)開(kāi)放，那么大家很難找到自己的開(kāi)發(fā)機會(huì )，尤其是在多模態(tài)語(yǔ)義理解帶來(lái)的全新契機面前。而百度大腦3.0全面開(kāi)放了110多項AI能力，滿(mǎn)足了開(kāi)發(fā)者的技術(shù)拼圖需求。李彥宏在開(kāi)發(fā)者大會(huì )的開(kāi)場(chǎng)白中說(shuō)，百度的目標是EveryoneCanAI。那么百度大腦的技術(shù)拼圖和全棧架構，將是百度分享AI，建立開(kāi)發(fā)者權能的必經(jīng)之地。

　　百度大腦的升級，可以看做眾多AI應用核心的突破。未來(lái)無(wú)數令人驚喜的AI應用，都將建立在百度大腦的躍升之上。當多模態(tài)底層技術(shù)不再是奢望，高度擬真的人機交互也就不再遙遠。從百度大腦3.0開(kāi)始，一個(gè)沙漏已經(jīng)倒轉，趨于理論最高值的AI未來(lái)，正在快速向這個(gè)世界挺進(jìn)。