ARK報告：AI仍處早期，發(fā)展速度是摩爾定律50倍

文 | 董溫淑

智東西7月1日消息，近日，投資管理公司ARK Invest發(fā)布一份報告，分析了人工智能技術(shù)的發(fā)展情況。

通過(guò)與摩爾定律的發(fā)展歷程進(jìn)行對比，ARK認為，人工智能還處于較早期的階段。數據顯示，目前人工智能的訓練成本正以50倍于摩爾定律的速度增長(cháng)，對于許多用例來(lái)說(shuō)，運行AI推理系統的成本幾乎為。

一、AI計算復雜度每年激增10倍

在過(guò)去10年中，用于人工智能的訓練模型的計算資源激增。在1960到2010年間，人工智能的計算復雜度每?jì)赡攴环?。?010到2020年間，人工智能的計算復雜度每年猛增10倍。

▲1960～2020年間，人工智能計算復雜度變化

報告認為，企業(yè)有足夠的動(dòng)力增加對AI的計算資源投入。一方面，這是因為人工智能技術(shù)能夠帶來(lái)顯著(zhù)的收入增長(cháng)；另一方面，用于訓練人工智能模型的硬件成本在迅速下降。

實(shí)際上，一些超級互聯(lián)網(wǎng)公司已經(jīng)開(kāi)始利用自己掌握的數據訓練深度學(xué)習網(wǎng)絡(luò )。目前，這些公司已經(jīng)在人工智能硬件方面投入了數億美元的預算。報告預計，隨著(zhù)時(shí)間推移，互聯(lián)網(wǎng)公司會(huì )獲得更高的回報率。

二、AI模型成本下降：訓練成本可低至1美元

另外，人工智能訓練成本約每年下降10倍。例如，2017年，在公有云上訓練一個(gè)像ResNet-50這樣的圖像識別網(wǎng)絡(luò )成本約為1000美元。到了2019年，這項成本降為約10美元。根據報告，按照目前的下降速度，到今年年底，這項成本或將降為1美元。

▲人工智能訓練成本呈現下降趨勢

運行一個(gè)訓練好的神經(jīng)網(wǎng)絡(luò )用于推理的成本下降得更快。在過(guò)去兩年中，分類(lèi)10億張圖片的成本從10000美元下降到0.03美元。

▲過(guò)去兩年間，運行神經(jīng)網(wǎng)絡(luò )分類(lèi)10億張圖片的成本呈現下降趨勢

三、軟件和硬件的突破使成本下降成為可能

軟件和硬件的突破使上述成本下降成為可能。過(guò)去3年間，芯片和系統已經(jīng)進(jìn)化到可以為深度學(xué)習任務(wù)添加專(zhuān)用硬件，這帶來(lái)了16倍的性能提升。如果保持硬件不變，用新版本的AI框架（TensorFlow和PyTorch）與新的訓練方法結合，可以產(chǎn)生8倍的性能增益。

▲左–硬件升級帶來(lái)的性能提升；右–軟件升級帶來(lái)的性能提升

奇怪的是，人工智能訓練芯片的成本并未隨著(zhù)單位硬件價(jià)格的下降而下降。例如，NVIDIA GPU數據中心經(jīng)過(guò)3次迭代，價(jià)格翻了3倍。事實(shí)上，自從2017年推出Nvidia V100 GPU以來(lái)，亞馬遜網(wǎng)絡(luò )服務(wù)（AWS）并沒(méi)有降低過(guò)它的價(jià)格。

理論上說(shuō)，AI芯片市場(chǎng)上的競爭有可能驅動(dòng)NVIDIA降低價(jià)格。但實(shí)際上，迄今為止還沒(méi)有玩家能夠研發(fā)出對Nvidia V100 GPU形成威脅的產(chǎn)品。

四、目前還處于早期階段，2023年市值有望超越互聯(lián)網(wǎng)

在摩爾定律的第一個(gè)10年里，晶體管的數量每年翻一翻。報告指出，鑒于目前人工智能訓練和推理的成本在以1/10到1/100的速率下降，人工智能還處于非常早期的階段，也許在未來(lái)幾十年里，人工智能會(huì )以緩慢的速度保持增長(cháng)。

迄今為止，人工智能為全球股票市值增加了約1萬(wàn)億美元。ARK預計，到2023年，人工智能的股票市值有望達到30萬(wàn)億美元，人工智能或將成為第一項超越互聯(lián)網(wǎng)股票市值的技術(shù)。

▲2023年，人工智能的股票市值有望達到30萬(wàn)億美元

結語(yǔ)：與OpenAI研究結果一致

ARK Invest分析了人工智能計算復雜度、訓練成本、推理成本、軟件和硬件的變化趨勢，并與摩爾定律的發(fā)展進(jìn)行對比。數據顯示，目前人工智能還處于早期發(fā)展階段。

這項發(fā)現與OpenAI的一份報告中得出的結論一致。OpenAI報告顯示，自2012年以來(lái)，在ImageNet基準測試中，將圖像分類(lèi)AI模型訓練到同等性能所需計算量每16個(gè)月縮短一半。

要指出的是，雖然訓練模型的總體花費在下降，但是在云上開(kāi)發(fā)AI工具還比較昂貴。例如，在最近的一項研究中，華盛頓大學(xué)研究團隊訓練了一個(gè)用于檢測假新聞的AI模型，在兩周的訓練時(shí)間里，該模型的訓練費用達到了25000美元。

文章來(lái)源：ARK Invest