Google：神經(jīng)網(wǎng)絡(luò )亟需最佳化硬件

　　Google資深研究員Jeff Dean強調，硬件系統可針對執行少量特定的作業(yè)實(shí)現優(yōu)化，并形成大量機器學(xué)習模型，從而打造更強大的神經(jīng)網(wǎng)絡(luò )…

　　如果您目前尚未考慮到如何有效利用深度神經(jīng)網(wǎng)絡(luò )(deep neural network)來(lái)解決您的問(wèn)題，那么您的腳步必須加快了。至少，根據Google資深研究員兼深度學(xué)習人工智能研究計劃(即Google Brain)主持人Jeff Dean是這么認為的。

　　在日前于美國加州舉行的Hot Chips大會(huì )專(zhuān)題演講中，Dean介紹神經(jīng)網(wǎng)絡(luò )如何大幅改寫(xiě)運算設備，并在語(yǔ)音、視覺(jué)、搜尋、機器人與醫療保健等領(lǐng)域取得重大的進(jìn)展。他強調，硬件系統可針對執行少量特定作業(yè)實(shí)現優(yōu)化，并形成大量的機器學(xué)習(machine learning)模型，從而打造更強大的神經(jīng)網(wǎng)絡(luò )。

　　Dean說(shuō)：“針對神經(jīng)網(wǎng)絡(luò )具備的特性打造專(zhuān)用計算機極具意義。如果你能開(kāi)發(fā)出一套真正善于進(jìn)行特定作業(yè)(例如加速的低精度線(xiàn)性代數)的系統，那就是業(yè)界夢(mèng)寐以求的。”

　　針對美國國家工程院(National Academy of Engineering;NAE)于2008年提出的14項21世紀重大工程挑戰，Dean認為，透過(guò)神經(jīng)網(wǎng)絡(luò )可望在解決這些所有問(wèn)題時(shí)發(fā)揮重要作用。Dean在發(fā)表簡(jiǎn)報時(shí)特別著(zhù)重于其中的五項挑戰：恢復并改善城市建筑、推動(dòng)健康資訊工程進(jìn)展、更有效地用藥，以及人類(lèi)大腦的反向工程等。不過(guò)，對于NAE重大挑戰清單中的最后一項——為科學(xué)探索打造工具，Dean卻保留了他的看法。

　　Dean表示：“人們已經(jīng)意識到我們需要更多的運算能力，才能解決這種種的問(wèn)題。”

　　TPU Pods解決更大的問(wèn)題

　　Google最近開(kāi)始為其客戶(hù)和研究人員提供可經(jīng)由云端服務(wù)的第二代TensorFlow處理器單元(TPU)機器學(xué)習ASIC。這是一款客制化的加速器板，配備4個(gè)第二代裝置，據稱(chēng)可帶來(lái)180兆次浮點(diǎn)運算(TFLOPS)運算和64GB高帶寬內存(HBM)的性能。

　　Dean表示，新的云端TPU芯片設計主要用于將彼此連接在一起，形成更大的配置——亦即被稱(chēng)為‘TPU Pod’的機器學(xué)習超級計算機。一個(gè)TPU Pod配置中包含64個(gè)第二代TPU，可提供11.5 petaflops以及 4TB的HBM內存。他并補充說(shuō)，Google還免費提供了1,000個(gè)云端TPU給致力于開(kāi)放機器學(xué)習研究的頂尖研究人員。

　　Dean說(shuō)：“我們對于TPU Pod解決更大問(wèn)題的可能性感到非常振奮。”

　　2015年，Google發(fā)表TensorFlow軟件庫，為機器學(xué)習開(kāi)放來(lái)源，目標就在于建立一個(gè)可用于表達與交換機器學(xué)習想法與系統的通用平臺。Dean并展示了一張圖表，顯示TensorFlow才剛過(guò)一年半，就已經(jīng)比其他具有類(lèi)似用途的庫更受歡迎。

　　Google第二代TPU

　　Dean表示，近五年來(lái)迅速出現的神經(jīng)網(wǎng)絡(luò )，主要是受到過(guò)去20年來(lái)運算能力的重大進(jìn)展而促成的。他并補充說(shuō)自己在1990年時(shí)還為此撰寫(xiě)了一篇有關(guān)神經(jīng)網(wǎng)絡(luò )的論文。他認為，當時(shí)的神經(jīng)網(wǎng)絡(luò )發(fā)展幾乎是可行的，但大約還需要更高60倍的運算能力。

　　Dean說(shuō)：“而今，事實(shí)證明，我們真正需要更高大約100萬(wàn)倍的運算性能，而非60倍。”