IBM深度學(xué)習演算法新突破 大幅縮短培訓時(shí)間

　　IBM Research宣布深度學(xué)習演算法出現新的突破，IBM新的分布式深度學(xué)習(DDL)軟件讓每個(gè)添加的處理器之間實(shí)現線(xiàn)性加速比(linear speedup)，該開(kāi)發(fā)旨在為添加到IBM DDL演算法的每個(gè)服務(wù)器實(shí)現類(lèi)似的加速效能。

　　據EETimes報導，IBM加速認知基礎設施部門(mén)主管Hillman Hunter認為，研究目標是將深度學(xué)習培訓的等待時(shí)間從幾天或幾小時(shí)，縮短到幾分鐘或幾秒鐘。

　　Hunter發(fā)文描述這項開(kāi)發(fā)成果，是最受歡迎的深度學(xué)習框架擴展到服務(wù)器中的多個(gè)GPU，而不是使用GPU的多個(gè)服務(wù)器。Hunter進(jìn)一步指出，IBM團隊編寫(xiě)的軟件，可自動(dòng)化和優(yōu)化跨數百個(gè)GPU加速器上，十幾個(gè)服務(wù)器所需要的龐大而復雜的并行運算任務(wù)。

　　IBM聲稱(chēng)使用開(kāi)源碼Caffe深度學(xué)習框架，將最多256個(gè)NVIDIA Tesla P100 GPU添加到單個(gè)服務(wù)器上，縮放效能為95%，可應用在圖像識別學(xué)習，以及類(lèi)似的學(xué)習任務(wù)。IBM在50分鐘的培訓時(shí)間內實(shí)現幾乎線(xiàn)性的縮放效率。Facebook之前在同一資料庫上花60分鐘的培訓時(shí)間，效能為89%。

　　在ImageNet-22k資料庫上的7個(gè)小時(shí)的培訓中，IBM同樣聲稱(chēng)對750萬(wàn)幅影像的驗證精確度為33.8%，而微軟(Microsoft)之前針對同一資料庫花10天培訓，準確率為29.8%。IBM的處理器是PowerAI平臺，具備64節點(diǎn)Power8集群，加上256個(gè)NVIDIA GPU，提供超過(guò)2 petaFLOPS。

　　IBM正在向所有PowerAI平臺用戶(hù)免費提供DDL套件，還為第三方開(kāi)發(fā)人員提供各種應用程式介面(API)，讓開(kāi)發(fā)人員選擇與應用程式(App)最相關(guān)的基本演算法。