Nvidia：GPU激發(fā)轉型 突破過(guò)去無(wú)法達成的分析工作

數據科學(xué)家Deborah Tylor，堅持不懈的運用正確的工具，達成原本以為做不到的事情。Deborah Tylor負責整理美國國稅局 (IRS) 超過(guò) 300 TB 的龐大數據庫，從中找出可能有助于發(fā)現身份盜用和其它詐欺行為的模式。但就算她在一大排 CPU 服務(wù)器上徹夜運行整理工作，依舊摸不著(zhù)頭緒。她隔天早上發(fā)現沒(méi)有成功，于是又試了一次，結果再次失敗。 

最新版的 Cloudera Data Platform 加上由 NVIDIA 加快運行速度的 Spark 3.0，協(xié)助一支團隊提升作業(yè)表現達八倍。

Cloudera 的 Nasheb Ismaily 差不多就在同一時(shí)間，敲了敲 Tylor 的主管 Rahul Tikekar 辦公室的門(mén)，Tikekar 也是國稅局數據分析師技術(shù)支持團隊的主管。這名 Cloudera 的解決方案工程師詢(xún)問(wèn) Tikekar 的團隊有沒(méi)有用過(guò) Cloudera Data Platform (CDP)，以發(fā)揮 以 GPU 加速的 Apache Spark 3.0 軟件的優(yōu)勢。
Tikekar 表示，我欣然接受這個(gè)提議。我們的獨立服務(wù)器上裝有 NVIDIA 顯示適配器，在分布式叢集上使用 Spark 來(lái)運行這些顯示適配器也有一段時(shí)間了，這對我們來(lái)說(shuō)時(shí)機剛剛好。
他們很快就進(jìn)行軟件測試，在沒(méi)有更動(dòng)程序代碼的情況下，Tylor 很多的工作執行速度提升高達五倍，不過(guò)還是出現了一些延遲。
Ismaily 找來(lái) NVIDIA 的數據科學(xué)家協(xié)助檢查程序代碼，很快就確認 CPU 上還運行著(zhù)一些數據結構特別差的任務(wù)。他們寫(xiě)了程序代碼來(lái)處理這些工作，并且把它插入 Spark 的 RAPIDS (在 GPU 上進(jìn)行數據分析的開(kāi)源函式庫) 軟件接口里。Tylor 又試了一次。
Tikekar 說(shuō)，數據突然全都進(jìn)入分布式 Spark 叢集的 GPU 上，加速成果非常顯著(zhù)，Deborah 現在在有四個(gè)節點(diǎn)的叢集上運行整個(gè)程序。
美國國稅局研究與應用分析及統計部門(mén)的技術(shù)主管 Joe Ansaldi 表示，Cloudera 與 NVIDIA 的整合讓我們能夠從數據中找出寶貴的洞察，以支持關(guān)鍵的任務(wù)。我們正運用這個(gè)組合，且已經(jīng)看到數據工程和數據科學(xué)工作流程的執行速度提高了十倍以上，而且成本還少了一半。
IRS 團隊已經(jīng)著(zhù)手探索這項工作帶來(lái)的一些回報。他們使用搭載 GPU 的服務(wù)器組成的 Spark 叢集，可以加快處理手邊的各項工作，還能執行過(guò)去以為做不到的事情，而這些工作可以協(xié)助處理該團隊所擁有的大型數據集。Tikekar 表示，在 Spark 3.0 出現前，我們做不到這些，但現在有 GPU 可以讓我們放手一搏，解決曾經(jīng)不可能解決的問(wèn)題。
規畫(huà)發(fā)展人工智能(AI)的路線(xiàn)
這支團隊計劃應用他們在數據準備的成功經(jīng)驗，即數據分析的擷取、轉換和加載 (ETL) 作業(yè)。下一個(gè)重大計劃便是加快全面發(fā)展 AI 推論工作。
Tikekar 表示，跟 Cloudera 和 NVIDIA 合作，幫助我們發(fā)揮叢集中 GPU 的優(yōu)勢。市場(chǎng)上出現這么進(jìn)步的技術(shù)，我們要花點(diǎn)時(shí)間才能認清它們的實(shí)力，還有開(kāi)發(fā)出能夠運用它們的應用，Deborah 為我們規劃了一條新的路線(xiàn)，她是我們故事的英雄。
說(shuō)得更具體一點(diǎn)，這支團隊想要建立大型深度學(xué)習神經(jīng)網(wǎng)絡(luò )，以解決自然語(yǔ)言處理和分析的問(wèn)題。
這是當下許多企業(yè)想要透過(guò)機器學(xué)習進(jìn)行的轉型。
擁有計算機科學(xué)博士學(xué)位的 Tikekar 表示，機器學(xué)習帶來(lái)了無(wú)窮的可能，讓我們能夠做到從前無(wú)法完成的事情。Tikekar 在 13 年前加入國稅局之前，曾在南奧勒岡大學(xué) (Southern Oregon University) 任教十年。
他進(jìn)一步表示，例如我們可以?huà)呙璞砀?，然后用光學(xué)字符識別技術(shù)來(lái)讀取里面的只字詞組，但有了 AI，我們還可以更深入從表格中找出有助于發(fā)現身分盜用，或是減少浪費的模式，AI 在很多方面都能嘉惠不少應用。