谷歌AI負責人Jeff Dean：一文回顧谷歌的2018技術(shù)進(jìn)展

　　自然語(yǔ)言理解

　　2018年，Google的自然語(yǔ)言研究在基礎研究和以產(chǎn)品為中心的合作上都取得了非常棒的成果。我們在之前的機器學(xué)習模型基礎上開(kāi)發(fā)了一個(gè)新的并行版本的模型 Universal Transformer，它在包括翻譯和語(yǔ)言推理在內的許多自然語(yǔ)言任務(wù)中都顯示出強大的技術(shù)能力。

　　我們還開(kāi)發(fā)了BERT，這是第一個(gè)深度雙向，無(wú)監督的自然語(yǔ)言處理模型，僅使用純文本語(yǔ)料庫進(jìn)行預訓練，就能使用遷移學(xué)習對各種自然語(yǔ)言任務(wù)進(jìn)行微調。

　　感知

　　我們的感知研究解決了允許計算機理解圖像，聲音以及為圖像獲取、壓縮、處理，創(chuàng )造性表達和增強現實(shí)提供更強大工具的難題。

　　Google AI使命的一個(gè)關(guān)鍵是讓其他人能夠從我們的技術(shù)中受益，今年我們在改進(jìn)作為Google API一部分的功能和構建塊方面取得了很大進(jìn)展。比如通過(guò)ML Kit 在Cloud ML API和面部相關(guān)設備構建塊中實(shí)現視覺(jué)和視頻的改進(jìn)和新功能。

　　MobileNetV2是谷歌的下一代移動(dòng)計算機視覺(jué)模型，我們的MobileNets廣泛應用于學(xué)術(shù)界和工業(yè)界。MorphNet提出了一種有效的方法來(lái)學(xué)習深層網(wǎng)絡(luò )的結構，從而在計算資源有限的同時(shí)，改進(jìn)圖像和音頻模型上的性能。

　　計算攝影

　　手機拍照性能的提升不僅僅在于物理傳感器的改進(jìn)，更大部分要歸咎于計算攝影技術(shù)的發(fā)展。

　　我們的計算攝影技術(shù)正在與Google的Android和消費者硬件團隊密切合作，將這項研究交付給最新的Pixel和Android手機及其他設備。2014年，我們推出了HDR +，可以在軟件中對齊幀，并將它們與計算軟件結合，使圖片具有比單次曝光更高的動(dòng)態(tài)范圍。這是2018年我們能夠在Pixel 2中開(kāi)發(fā)Motion Photos，以及Motion Stills中開(kāi)發(fā)增強現實(shí)模式的基礎。

　　今年，我們在計算攝影研究方面的主要工作之一就是創(chuàng )造一種名為Night Sight的新功能，即便在沒(méi)有閃光燈的情況下，也能讓Pixel用戶(hù)在非?；璋档膱?chǎng)景中拍出清晰的照片。

　　算法和理論

　　在過(guò)去的一年中，我們的研究涵蓋從理論基礎到應用算法，從圖形挖掘到隱私保護計算等廣泛領(lǐng)域。我們在優(yōu)化方面的工作涉及從研究機器學(xué)習的持續優(yōu)化到分布式組合優(yōu)化的領(lǐng)域。在前一領(lǐng)域，我們研究用于訓練神經(jīng)網(wǎng)絡(luò )的隨機優(yōu)化算法的收斂性(其贏(yíng)得了ICLR 2018最佳論文獎)，展示了流行的基于梯度的優(yōu)化方法(例如ADAM的一些變體)的問(wèn)題，為新的基于梯度的優(yōu)化方法提供了堅實(shí)的基礎。

　　軟件系統

　　我們對軟件系統的大部分研究仍然與構建機器學(xué)習模型，尤其是TensorFlow有關(guān)。我們的一些新研究引入了Mesh TensorFlow，這使得用模型并行性指定大規模分布式計算變得容易。另外，我們還使用TensorFlow發(fā)布了一個(gè)可擴展的深度神經(jīng)排序庫。

　　另一個(gè)重要的研究方向是將ML應用于軟件系統的堆棧層面。在安全漏洞問(wèn)題方面，我們的編譯器研究團隊將他們用于測量機器指令延遲和端口壓力的工具集成到LLVM中，從而可以做出更好的編譯決策。