英特爾BigDL,助力大數據AI從筆記本到云實(shí)現無(wú)縫擴展

作為快速增長(cháng)的計算工作負載，人工智能（AI）也是英特爾認為將對世界產(chǎn)生變革性影響的超級技術(shù)力量之一。然而，數據顯示，有超過(guò)一半的AI和數據科學(xué)項目無(wú)法真正部署到現實(shí)應用中，均以失敗告終。海量數據、無(wú)法完全兼容的設備加之各異的數據環(huán)境，無(wú)疑為AI的應用和落地設置了重重關(guān)卡。

基于此，秉承推動(dòng)AI無(wú)處不在的美好愿景，英特爾全面打造基于大數據AI開(kāi)源項目BigDL，旨在助力從筆記本到云，無(wú)縫擴展大數據 AI。日前，英特爾院士、英特爾大數據技術(shù)全球首席技術(shù)官戴金權應邀出席 China Apache Hadoop Meetup 2022，并在會(huì )上深入解析英特爾如何從如下三個(gè)領(lǐng)域著(zhù)手，創(chuàng )新BigDL，助力開(kāi)源發(fā)展。

打造高可擴展性

對數據科學(xué)家和開(kāi)發(fā)者而言，高可擴展性不僅意味著(zhù)如何能高效、快速地構建出端到端的分布式數據和AI的流水線(xiàn)，也同樣需要注重基礎架構部署。與理論不同，實(shí)踐中的科學(xué)家們更關(guān)注如何將AI技術(shù)應用部署到實(shí)際場(chǎng)景，其中包括建模、訓練、推理和對模型的優(yōu)化等全流程，這意味著(zhù)需要考慮端到端的流水線(xiàn)?；诖?，英特爾在底層就開(kāi)始進(jìn)行數據切分、模型復制、參數同步等工作，讓數據科學(xué)家們能夠有統一的體驗，同時(shí)，英特爾亦將大規模分布式的工作透明化、抽象化，讓數據科學(xué)家們能夠高效開(kāi)發(fā)AI流水線(xiàn)。而對于基礎架構，英特爾亦通過(guò)類(lèi)似BigDL的項目，為用戶(hù)提供統一的大數據AI集群/基礎架構。在同一個(gè)集群、流水線(xiàn)、工作程序當中，對這些大數據系統進(jìn)行數據訪(fǎng)問(wèn)、分布式處理，在同一個(gè)流水線(xiàn)里以?xún)却嬗嬎愕男问竭M(jìn)行大規模分布式數據分割，再由這些深度學(xué)習、機器學(xué)習的系統對其進(jìn)一步分析。

提升每個(gè)節點(diǎn)的性能效率

每當提及AI性能時(shí)，大多數人的第一反應是GPU或AI芯片，然而軟件優(yōu)化能夠帶來(lái)的AI性能提升卻極易被忽視。英特爾通過(guò)軟件層面優(yōu)化，如TensorFlow、PyTorch、MXNet等，可以帶來(lái)幾十倍、上百倍的性能提升，能夠更加高效地集成這些軟件。因此，可以認為構建一個(gè)免費的AI軟件加速器，在筆記本、CPU集群上都能夠帶來(lái)性能上的極大提升。而且，現如今有大量的現代化CPU加速技術(shù)，如內存分配、指令集等，將這些技術(shù)整合在A(yíng)I流水線(xiàn)中，也能夠大大提升AI性能。值得注意的是，英特爾不僅通過(guò)軟件大幅提升每個(gè)節點(diǎn)性能，亦能實(shí)現集成過(guò)程的透明性，使數據科學(xué)家的實(shí)操更加便捷。

構建安全可靠的數據處理環(huán)境

將AI應用從筆記本擴展到諸如云環(huán)境中時(shí)，安全也是數據科學(xué)家非常關(guān)注的另一大問(wèn)題。對當下大部分應用場(chǎng)景而言，隱私保護機器學(xué)習與大數據分析是運行在云中非常重要的需求。這個(gè)安全保障不僅囊括了如同態(tài)加密、遠程驗證等軟件方面的安全保障，也需要類(lèi)似可信執行環(huán)境等硬件安全保障，如英特爾? SGX技術(shù)具備持續增強的安全能力，可在內存等硬件中構建一個(gè)安全“飛地”，幫助保護代碼和數據，防止數據在處理期間遭受惡意軟件攻擊和權限提升型攻擊。因此，基于英特爾? SGX技術(shù)打造的BigDL PPML，能夠讓用戶(hù)即使沒(méi)有處于極度信任的公有或私有云中也仍然可以進(jìn)行非常安全的數據分析和AI應用。

得益于高擴展性、性能提升和安全可靠的特性，BigDL能夠通過(guò)端到端大數據人工智能管道，降低AI的準入門(mén)檻，不僅能夠讓數據科學(xué)家、工程師等更便捷、簡(jiǎn)易地構建大規模分布式人工智能解決方案，從而加速AI應用和部署，亦有助于挖掘更多AI潛力，為各行業(yè)發(fā)展注入新動(dòng)能。