<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>
"); //-->

博客專(zhuān)欄

EEPW首頁(yè) > 博客 > 仿真人類(lèi)的微軟AI翻譯系統

仿真人類(lèi)的微軟AI翻譯系統

發(fā)布人:傳感器技術(shù) 時(shí)間:2023-10-11 來(lái)源:工程師 發(fā)布文章

微軟研究人員在利用深層神經(jīng)網(wǎng)絡(luò )人工智能(AI)訓練技術(shù)翻譯文本方面發(fā)明了第一臺機器翻譯系統,可以將中文新聞的句子翻譯成英文,準確率與人類(lèi)不相上下。系統在一套常用的新聞報道測試集上實(shí)現了達到了人類(lèi)水平,測試集名為newstest2017。


在前幾期的文章里,我們介紹了神經(jīng)網(wǎng)絡(luò )和深度學(xué)習的相關(guān)內容,微軟的這套翻譯系統就是使用深層神經(jīng)網(wǎng)絡(luò ),幫助生成更真實(shí)、更準確的翻譯。它還采用了多種不同的人工智能訓練方法,包括雙重學(xué)習、商議網(wǎng)絡(luò )和聯(lián)合訓練,試圖模仿人類(lèi)的學(xué)習方式。





機器翻譯





機器翻譯系統是支持翻譯大量文本的應用程序或在線(xiàn)服務(wù),將文本從“源”語(yǔ)言譯成另一種"目標"語(yǔ)言的過(guò)程。


自從2010年代早期,新的人工智能技術(shù)- 深度神經(jīng)網(wǎng)絡(luò )(又稱(chēng)深度學(xué)習),已經(jīng)達到較高的精準度,微軟翻譯團隊將語(yǔ)音識別結合其核心文本翻譯技術(shù),推出新的語(yǔ)音翻譯技術(shù)。


雖然機器翻譯技術(shù)和接口技術(shù)的概念相對簡(jiǎn)單,但它背后的科技集成卻是極其復雜的,集成了多項尖端技術(shù),特別是深度學(xué)習(人工智能)、 大數據、 語(yǔ)言學(xué)、 云計算和 web API。


從歷史上看,曾經(jīng)主流的機器學(xué)習技術(shù)在行業(yè)中應用是統計機器翻譯 (SMT)。SMT 使用先進(jìn)的統計分析,從一句話(huà)中上下文的幾個(gè)詞中來(lái)估計最佳可能的翻譯。SMT自20 世紀中期以來(lái)的為所有主要翻譯服務(wù)提供商所使用,其中包括微軟。


基于深度神經(jīng)網(wǎng)絡(luò )(NN) 的翻譯技術(shù)的出現,帶動(dòng)了機器翻譯技術(shù)的突變,顯著(zhù)提高了翻譯質(zhì)量。這種新的翻譯技術(shù)在2016年的下半年開(kāi)始大規模部署使用。


這兩種技術(shù)共同之處有兩個(gè)方面︰


  1. 兩者都需要大量的人工翻譯的數據(高達數百萬(wàn)的人工翻譯過(guò)的句子)用于培訓翻譯系統。


  2. 既不作為雙語(yǔ)詞典,也不是基于翻譯列表,是根據詞在句子中使用的上下文來(lái)翻譯。


Microsoft翻譯


微軟翻譯文本和語(yǔ)音 API,是微軟 認知服務(wù)集合的一部分,是微軟云的機器翻譯服務(wù)。


1、微軟翻譯文本 API


微軟翻譯文本API 已自2006年以來(lái)用于微軟多個(gè)個(gè)業(yè)務(wù)部門(mén)的產(chǎn)品和服務(wù)中,并且自2011年向第三方客戶(hù)提供。微軟翻譯文本API已經(jīng)在微軟公司內部廣泛應用,它被用于產(chǎn)品本地化、客戶(hù)支持和在線(xiàn)交流(例如, Windows Blog)。還可以從熟悉的微軟產(chǎn)品( Bing、 柯塔娜、 Internet Explorer、 Lync、 Cortana、 Office、SharePoint、 Skype 和 Yammer)訪(fǎng)問(wèn)這一服務(wù),且無(wú)需額外付費。


Microsoft Translator 可在任何硬件平臺上以Web方式或客戶(hù)端中使用,與任何操作系統結合來(lái)進(jìn)行語(yǔ)言翻譯和其他語(yǔ)言相關(guān)操作,如文字語(yǔ)言檢測,文本到語(yǔ)音轉換,以及詞典。


利用行業(yè)標準的REST技術(shù),開(kāi)發(fā)人員向服務(wù)發(fā)送源文本以及標識目標語(yǔ)言的參數,該服務(wù)經(jīng)翻譯后的文本發(fā)送回客戶(hù)端或 web 應用程序。


微軟翻譯服務(wù)部署在微軟數據中心,從安全性、 可伸縮性、 可靠性和不間斷的可用性等方面享受和其他微軟云服務(wù)同樣的好處。


2、微軟翻譯語(yǔ)音API


微軟語(yǔ)音翻譯技術(shù)首先在2014年底通過(guò)Skype Translator集成推出的,并且在2016年初是作為開(kāi)放的API向客戶(hù)提供。它集成在Skype,Skype會(huì )議廣播和微軟翻譯app中(Android、 iOS 和 Windows版)。


文本翻譯的工作原理

有兩種主流的機器翻譯技術(shù)︰ 傳統的統計機器翻譯(SMT) 和新一代之神經(jīng)網(wǎng)絡(luò ) (NN) 翻譯。


1、統計機器翻譯


微軟翻譯使用的統計機器翻譯(SMT) 是建立在超過(guò)十年的微軟自然語(yǔ)言處理研究成果上?,F代翻譯系統不再手動(dòng)編寫(xiě)規則進(jìn)行語(yǔ)言轉換,而是將翻譯當作基于所有語(yǔ)言現有的人工譯文及相互轉換的學(xué)習問(wèn)題,并利用了應用統計學(xué)和機器學(xué)習方面的最新成果。


所謂的"平行語(yǔ)料庫"在很大程度上充當現代的羅塞塔石,基于語(yǔ)境為許多語(yǔ)言以及專(zhuān)門(mén)領(lǐng)域提供單詞、短語(yǔ)和習語(yǔ)翻譯。統計建模技術(shù)和高效算法幫助計算機解決解讀(檢測訓練數據中源語(yǔ)言和目標語(yǔ)言之間的對應關(guān)系)以及解碼 (為新輸入句子找到最好的翻譯)等問(wèn)題。Microsoft Translator 將統計方法的力量與語(yǔ)言信息相結合,產(chǎn)生歸納更理想譯文和更易理解的輸出。


由于這種方法并不依賴(lài)于詞典或語(yǔ)法規則,它提供基于上下文的最佳翻譯的詞匯和短語(yǔ)。


2、神經(jīng)網(wǎng)絡(luò )翻譯


翻譯質(zhì)量的不斷改善是十分重要的。然而,SMT 技術(shù)自2010年代中期性能改進(jìn)有所停滯。通過(guò)大規模部署的微軟AI 超級計算機,特別是通過(guò)微軟認知工具包,微軟翻譯現在提供了基于神經(jīng)網(wǎng)絡(luò ) (LSTM) 的翻譯,使翻譯質(zhì)量改進(jìn)步入了新的十年。


這些神經(jīng)網(wǎng)絡(luò )模型已經(jīng)在所有微軟語(yǔ)音翻譯中部署,可以通過(guò)語(yǔ)音翻譯API調用, 或者通過(guò)文本API 使用“generalnn“的Category ID參數調用。

神經(jīng)網(wǎng)絡(luò )翻譯從根本上的執行方式相對于傳統 SMT翻譯不同。


下面的動(dòng)畫(huà)描述了神經(jīng)網(wǎng)絡(luò )翻譯的各個(gè)步驟。使用這種方法,翻譯將考慮到上下文完整的句子,而SMT技術(shù)只能考慮上下文的幾個(gè)詞語(yǔ)。所以,神經(jīng)網(wǎng)絡(luò )翻譯將會(huì )產(chǎn)生更流利和接近人工翻譯的結果。


基于神經(jīng)網(wǎng)絡(luò )的訓練,每個(gè)單詞被編碼沿500 維向量 (a) 表示其獨特的特征,針對特定的語(yǔ)言對(例如英語(yǔ)和中文)。將語(yǔ)言對用于訓練,神經(jīng)網(wǎng)絡(luò )將自定義這些維度應該是什么。他們可以對簡(jiǎn)單的概念,如性別 (女性,男性,中性),禮貌水平(俚語(yǔ),休閑,書(shū)面的正式的等等),類(lèi)型的詞(動(dòng)詞、 名詞等),以及任何其他非明顯的特征作為派生的訓練數據進(jìn)行編碼。


神經(jīng)網(wǎng)絡(luò )翻譯運行的步驟如下︰


  1. 每個(gè)單詞或更具體地說(shuō) 500-維向量表示它,穿過(guò)第一層的"神經(jīng)元",將編碼它在一個(gè)1000-維向量 (b) 代表這個(gè)詞在上下文句子中其他詞的范圍。


  2. 一旦所有單詞均已進(jìn)行這些 1000- 維向量都編碼,過(guò)程被重復幾次,每一層都進(jìn)行更好地微調這1000- 維度表現這個(gè)詞完整的句子(而SMT翻譯只考慮 3 到 5 個(gè)單詞的窗口)的范圍內。


  3. 翻譯注意層(即軟件算法)將使用此最終輸出矩陣和以前翻譯過(guò)的單詞來(lái)確定來(lái)自源句子的哪個(gè)詞,應該接下來(lái)到最終輸出矩陣。它還將使用這些計算在目標語(yǔ)言中刪除不必要的詞語(yǔ)。


  4. ****(翻譯)層,在它最合適的目標語(yǔ)言等效轉換選定的詞(或更具體地說(shuō) 1000-維向量代表這個(gè)詞的完整的句子范圍內)。這個(gè)輸出層(C)然后反饋到注意層計算源句子應該翻譯的下一個(gè)單詞。


在動(dòng)畫(huà)的示例中,"the"的上下文感知的 1000- 維度模型將編碼的名詞 (house)是法語(yǔ)的女性詞 (la maison)。這將"the"適當的翻譯為"la" 而不是"le" (單數,男性)或"les" (復數),當它達到****(翻譯)層。


注意算法還將計算基于以前翻譯過(guò)的(在這個(gè)案例"the"),下一步這個(gè)詞被翻譯應該是主題("house") 而不是一個(gè)形容詞 ("blue")??梢宰龅竭@一點(diǎn)因為系統學(xué)過(guò)英語(yǔ)和法語(yǔ)轉換時(shí)這些句子中詞語(yǔ)的順序。假如形容詞是"大"而不是一種顏色的形容詞,那它應該不反轉 (“the big house” => “l(fā)a grande maison”)。


基于這種辦法最終的翻譯結果在大多數情況下,比基于SMT 的翻譯更流暢和更接近于人類(lèi)的翻譯。


語(yǔ)音翻譯的工作原理


Microsoft Translator 還能夠翻譯語(yǔ)音。此功能最初僅通過(guò)Skype Translator,以及iOS 和 Android的Microsoft Translator 應用程序提供?,F在通過(guò)最新版的語(yǔ)音翻譯API 提供向開(kāi)發(fā)人員提供。


雖然乍看上去是個(gè)簡(jiǎn)單的過(guò)程,但這比僅僅將“傳統”人機語(yǔ)音識別引擎插入現有文本翻譯引擎的過(guò)程復雜得多。


若要正確從一種語(yǔ)言的"源"語(yǔ)音翻譯成不同的"目標"語(yǔ)言,系統經(jīng)過(guò)四步過(guò)程。


  1. 語(yǔ)音識別,將音頻轉換為文本。


  2. TrueText算法: 微軟特有的技術(shù)將口語(yǔ)優(yōu)化成更標準的文本,使之更適合機器翻譯。


  3. 通過(guò)上述的文本翻譯引擎進(jìn)行翻譯,利用專(zhuān)為現實(shí)生活口語(yǔ)會(huì )話(huà)開(kāi)發(fā)的翻譯模型。


  4. 文本到語(yǔ)音轉換,必要時(shí)輸出譯文的音頻。


1、自動(dòng)語(yǔ)音識別 (ASR)


使用經(jīng)過(guò)數千小時(shí)訓練的DNN 系統執行自動(dòng)語(yǔ)音識別(ASR)。此模型基于人和人交互數據,而非人機指令訓練,可產(chǎn)生適合正常對話(huà)優(yōu)化的語(yǔ)音識別效果。為達此目的,DNN需要相比傳統人機交互ASR更多大量的生活口語(yǔ)數據訓練系統。


2、TrueText


我們日常的說(shuō)話(huà)并不完美,常常不如自己認為的那樣清晰和流利。憑借 TrueText技術(shù),可以刪除口語(yǔ)中不流利的部分(贅詞,如"嗯"、"啊"、"和"、"比如")、口吃和重復,使文本經(jīng)轉換更貼近地反映用戶(hù)意圖。還通過(guò)添加斷句、正確標點(diǎn)符號和大小寫(xiě),使文本更易讀和更易譯。為取得這些成果,我們將數十年的研究成果應用于開(kāi)發(fā) Translator的語(yǔ)言技術(shù),從而創(chuàng )建出 TrueText。下圖通過(guò)真實(shí)的示例演示 TrueText的執行過(guò)程。


3、翻譯


然后,將相關(guān)文本翻譯成任何微軟翻譯支持的60 多種語(yǔ)言之一。


面向開(kāi)發(fā)人員提供的語(yǔ)音翻譯API或在語(yǔ)音翻譯應用程序或服務(wù)中使用最新的神經(jīng)網(wǎng)絡(luò )翻譯,可以使用所有語(yǔ)音輸入支持的語(yǔ)言(請參閱這里的完整列表)。當前現有的翻譯模型大多是書(shū)面語(yǔ)文本訓練的,通過(guò)增加更多的口語(yǔ)文本語(yǔ)料庫,打造更好的為口語(yǔ)會(huì )話(huà)類(lèi)型的翻譯建立了的模型。這些模型也可通過(guò)'Speech'標準類(lèi)文本翻譯 API 提供。


對于任何其他非語(yǔ)音類(lèi)支持語(yǔ)言,仍然使用傳統的SMT 翻譯,除非另有說(shuō)明如這里。


4、文本到語(yǔ)音


目前我們支持18文本到語(yǔ)音轉換語(yǔ)言,如果需要音頻輸出,文本將以語(yǔ)音合成輸出。在語(yǔ)音轉文本的翻譯情景中將省略這一階段。


newstest2017系統的新技術(shù)


微軟官方博客中提到,新的翻譯系統中用到了四大技術(shù):對偶學(xué)習、聯(lián)合訓練、推敲網(wǎng)絡(luò )和一致性正則化,對應的論文也已經(jīng)公開(kāi)。


1、對偶學(xué)習臺(Dual Learning)


對偶學(xué)習利用的是人工智能任務(wù)的天然對稱(chēng)性。其發(fā)現是由于現實(shí)中有意義、有實(shí)用價(jià)值的人工智能任務(wù)往往會(huì )成對出現,兩個(gè)任務(wù)可以互相反饋,從而訓練出更好的深度學(xué)習模型。例如,在翻譯領(lǐng)域,我們關(guān)心從英文翻譯到中文,也同樣關(guān)心從中文翻譯回英文;在語(yǔ)音領(lǐng)域,我們既關(guān)心語(yǔ)音識別的問(wèn)題,也關(guān)心語(yǔ)音合成的問(wèn)題;在圖像領(lǐng)域,圖像識別與圖像生成也是成對出現。此外,在對話(huà)引擎、搜索引擎等場(chǎng)景中都有對偶任務(wù)。


一方面,由于存在特殊的對偶結構,兩個(gè)任務(wù)可以互相提供反饋信息,而這些反饋信息可以用來(lái)訓練深度學(xué)習模型。也就是說(shuō),即便沒(méi)有人為標注的數據,有了對偶結構也可以做深度學(xué)習。另一方面,兩個(gè)對偶任務(wù)可以互相充當對方的環(huán)境,這樣就不必與真實(shí)的環(huán)境做交互,兩個(gè)對偶任務(wù)之間的交互就可以產(chǎn)生有效的反饋信號。因此,充分地利用對偶結構,就有望解決深度學(xué)習和增強學(xué)習的瓶頸,如“訓練數據從哪里來(lái)、與環(huán)境的交互怎么持續進(jìn)行”等問(wèn)題。


2、推敲網(wǎng)絡(luò )(Deliberation Network)


“推敲”二字可以認為是來(lái)源于人類(lèi)閱讀、寫(xiě)文章以及做其他任務(wù)時(shí)候的一種行為方式,即任務(wù)完成之后,并不當即終止,而是會(huì )反復推敲。微軟亞洲研究院機器學(xué)習組將這個(gè)過(guò)程沿用到了機器學(xué)習中。推敲網(wǎng)絡(luò )具有兩段****,其中第一階段****用于解碼生成原始序列,第二階段****通過(guò)推敲的過(guò)程打磨和潤色原始語(yǔ)句。后者了解全局信息,在機器翻譯中看,它可以基于第一階段生成的語(yǔ)句,產(chǎn)生更好的翻譯結果。


3、腦聯(lián)合訓練(Joint Training)


這個(gè)方法可以認為是從源語(yǔ)言到目標語(yǔ)言翻譯(Source to Target)的學(xué)習與從目標語(yǔ)言到源語(yǔ)言翻譯(Target to Source)的學(xué)習的結合。中英翻譯和英中翻譯都使用初始并行數據來(lái)訓練,在每次訓練的迭代過(guò)程中,中英翻譯系統將中文句子翻譯成英文句子,從而獲得新的句對,而該句對又可以反過(guò)來(lái)補充到英中翻譯系統的數據集中。同理,這個(gè)過(guò)程也可以反向進(jìn)行。這樣雙向融合不僅使得兩個(gè)系統的訓練數據集大大增加,而且準確率也大幅提高。


從源語(yǔ)言到目標語(yǔ)言翻譯(Source to Target)P(y|x) 與從目標語(yǔ)言到源語(yǔ)言翻譯(Target to Source)P(x|y)


4、一致性規范(Agreement Regularization)


翻譯結果可以從左到右按順序產(chǎn)生,也可以從右到左進(jìn)行生成。該規范對從左到右和從右到左的翻譯結果進(jìn)行約束。如果這兩個(gè)過(guò)程生成的翻譯結果一樣,一般而言比結果不一樣的翻譯更加可信。這個(gè)約束,應用于神經(jīng)機器翻譯訓練過(guò)程中,以鼓勵系統基于這兩個(gè)相反的過(guò)程生成一致的翻譯結果。 



復雜性讓機器翻譯成為一個(gè)極有挑戰性的問(wèn)題,但也是一個(gè)極有意義的問(wèn)題。微軟亞洲研究院副院長(cháng)、機器學(xué)習組負責人劉鐵巖認為,我們不知道哪一天機器翻譯系統才能在翻譯任何語(yǔ)言、任何類(lèi)型的文本時(shí),都能在“信、達、雅”等多個(gè)維度上達到專(zhuān)業(yè)翻譯人員的水準。不過(guò),他對技術(shù)的進(jìn)展表示樂(lè )觀(guān),因為每年微軟的研究團隊以及整個(gè)學(xué)術(shù)界都會(huì )發(fā)明大量的新技術(shù)、新模型和新算法,“我們可以預測的是,新技術(shù)的應用一定會(huì )讓機器翻譯的結果日臻完善?!?/p>

- END -


*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。



關(guān)鍵詞: 仿真人類(lèi)

技術(shù)專(zhuān)區

關(guān)閉
国产精品自在自线亚洲|国产精品无圣光一区二区|国产日产欧洲无码视频|久久久一本精品99久久K精品66|欧美人与动牲交片免费播放
<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>