英特爾人工智能——專(zhuān)為實(shí)際應用打造的工具

　　如今人工智能 (AI) 的發(fā)展迎來(lái)了令人振奮的時(shí)刻。曾經(jīng)只有具備深厚專(zhuān)業(yè)知識積累的公司才有可能使用人工智能，但短短幾年后，隨著(zhù)軟件工具、生態(tài)系統和硬件開(kāi)發(fā)的日趨成熟，越來(lái)越多的公司開(kāi)始應用人工智能，英特爾的眾多客戶(hù)通過(guò)人工智能技術(shù)在各種行業(yè)案例中取得了變革性的成功。同時(shí)我們也發(fā)現，并不存在某個(gè)單一的“最佳”硬件能夠運行各種各樣的人工智能應用。因為人工智能的形式是多種多樣的，不同的應用也決定了從數據中心到邊緣再到設備所需的硬件能力都會(huì )有所差別，因此我們需要更加多樣化的硬件產(chǎn)品組合來(lái)滿(mǎn)足不同的需求。英特爾人工智能產(chǎn)品能夠滿(mǎn)足多種多樣的人工智能應用需求，在各種應用場(chǎng)景中都將為英特爾客戶(hù)帶來(lái)最高的回報。

　　從擅長(cháng)對大量非結構化語(yǔ)音和文本數據進(jìn)行訓練和推理的英特爾?至強?可擴展處理器，到為實(shí)時(shí)推理提供出色吞吐量和低延遲的英特爾? FPGA，再到為攝像頭提供超低功耗推理的英特爾? Movidius?視覺(jué)處理單元 (VPU)，以及即將推出的英特爾? Nervana?神經(jīng)網(wǎng)絡(luò )處理器(英特爾? Nervana? NNP)，無(wú)論數據是存在于設備還是邊緣，是數據中心還是在云上，英特爾提供了一個(gè)深度硅芯片基礎，來(lái)實(shí)現數據中心的創(chuàng )新。除了硬件平臺，英特爾在軟件上也在進(jìn)行大量投資，讓不同的產(chǎn)品組合之間可以轉換功能，從而不受限制地將人工智能帶到各種應用程序中去。例如nGraph?這樣的開(kāi)源項目，降低了在不同硬件平臺對不同深度學(xué)習框架(TensorFlow*、MXNet*、PyTorch*等)進(jìn)行優(yōu)化的難度，使得開(kāi)發(fā)人員可以向其客戶(hù)提供最佳的體驗。

　　采用英特爾?至強?可擴展處理器進(jìn)行高級深度學(xué)習訓練

　　挑戰：通過(guò)自動(dòng)分析顯微鏡圖像中數千個(gè)不同的個(gè)體特性發(fā)現新的治療方法，這些圖像尺寸遠大于傳統深度學(xué)習數據集中的圖像尺寸

　　解決方案：利用基于英特爾至強可擴展處理器平臺的大內存容量和高性能計算能力

　　高內涵篩選是藥物研發(fā)的重要工具，這是一項極具挑戰且極耗時(shí)的工作，需要從圖像中提取數千個(gè)預定義特性。在英特爾以數據為中心創(chuàng )新峰會(huì )上，我們談到了諾華正在與英特爾合作，利用深度學(xué)習技術(shù)來(lái)加快細胞培養顯微鏡圖像的分析，以研究各種治療方法的效果。由于使用了完整的顯微鏡圖像，本評估中的圖像尺寸比普通深度學(xué)習基準中使用的圖像尺寸大得多，是ImageNet* 數據集中圖像尺寸的26倍以上。

　　由于訓練模型中的參數數量多，所用圖像的尺寸大、數量多，便對計算和內存能力提出了更高的要求。研究團隊使用了英特爾至強可擴展處理器、英特爾? Omni-Path架構和TensorFlow v1.7.0搭建的系統進(jìn)行訓練，把訓練時(shí)間節省了20倍。英特爾?硬件可支持卓越的內存容量，支持每秒處理120多張3.9兆像素的圖像。

　　正如案例所示，CPU架構更能滿(mǎn)足很多現實(shí)情況中的深度學(xué)習應用需求，基于英特爾至強可擴展處理器的平臺性能通過(guò)持續地投資也在不斷增強。自平臺推出以來(lái)，其針對流行框架的訓練速度提升了1.4倍以上，而INT8推理速度則提升了近5.4倍。隨著(zhù)新一代英特爾至強可擴展處理器的推出，推理速度更有望提升至11倍。未來(lái)對英特爾?傲騰? 數據中心持久內存的平臺支持，還將擴展CPU附近的內存容量，以支持對更大數據集的訓練。在創(chuàng )新峰會(huì )上，我們還宣布推出英特爾?DL Boost，這是一套旨在加快人工智能深度學(xué)習速度的處理器技術(shù)。Cascade Lake還將采用矢量神經(jīng)網(wǎng)絡(luò )指令集(VNNI)，以前需要采用三條指令，而現在只需要一條指令即可實(shí)現。Cooper Lake是繼Cascade Lake之后的又一款英特爾至強可擴展處理器，將整合英特爾?DL Boost功能(Bfloat16)以提升人工智能/深度學(xué)習訓練性能。

　　正如英特爾? 精選解決方案，我們致力于簡(jiǎn)化客戶(hù)對英特爾至強處理器的全棧部署。Apache Spark*上針對BigDL的全新英特爾? 精選解決方案配置是我們與阿里巴巴、亞馬遜、中國電信、微軟和Telefonica等行業(yè)領(lǐng)先企業(yè)合作的成果，這也是我們從數百次部署BigDL中獲得的重要經(jīng)驗，旨在提供配置讓客戶(hù)能夠在現有數據湖快速部署人工智能功能。該解決方案涵蓋硬件和軟件組件，是我們第一個(gè)面向人工智能的英特爾? 精選解決方案。

　　采用英特爾? FPGA進(jìn)行實(shí)時(shí)深度學(xué)習推理

　　挑戰：開(kāi)發(fā)可靈活擴展的實(shí)時(shí)深度學(xué)習平臺，可跨多個(gè)微軟用例

　　解決方案：利用英特爾? Arria? FPGA的微軟Project Brainwave*硬件架構

　　微軟Project Brainwave是一個(gè)深度學(xué)習加速平臺，它是基于自適應、節能、高通量的英特爾FPGA構建的。由于其經(jīng)濟性和極低延遲等特點(diǎn)，Project Brainwave能夠實(shí)現實(shí)時(shí)推理。在不斷發(fā)展的人工智能環(huán)境中，FPGA能夠重新編程以獲得最高性能，是搜索、語(yǔ)音識別、視頻分析等很多深度學(xué)習應用中的重要工具。

　　微軟最近推出由Project Brainwave提供支持的Azure機器學(xué)習加速硬件。這項服務(wù)讓開(kāi)發(fā)人員和數據科學(xué)家能夠在A(yíng)zure和邊緣計算中運行實(shí)時(shí)模型，應用領(lǐng)域涵蓋制造業(yè)、零售業(yè)和醫療保健等。

　　微軟還將Project Brainwave應用于新的必應*搜索功能，以縮短搜索時(shí)間并讓搜索結果更加智能化。必應通過(guò)機器學(xué)習和閱讀理解能快速提供智能化答案，幫助用戶(hù)更快地找到想要的答案，而不是提供鏈接列表讓用戶(hù)去手動(dòng)檢查答案。英特爾FPGA能讓必應將模型的延遲縮短到10倍以上，同時(shí)將模型尺寸增加10 倍。

　　采用英特爾? Movidius? Myriad? 視覺(jué)處理單元，在邊緣端實(shí)現視覺(jué)智能

　　挑戰：自動(dòng)捕捉和管理家人、朋友和寵物的動(dòng)態(tài)照片，在邊緣設備完成視覺(jué)處理

　　解決方案：搭載英特爾? Movidius? Myriad? 2視覺(jué)處理單元 (VPU)的Google Clips*無(wú)線(xiàn)智能相機

　　借助英特爾Movidius低功耗、高性能的VPU，谷歌實(shí)現了對Google Clips相機的構想。使用英特爾Movidius Myriad 2 VPU，可以直接在相機上實(shí)時(shí)運行高級機器學(xué)習算法，這可以幫助谷歌完善相機功能，降低功耗，并支持離線(xiàn)使用。

　　英特爾Movidius VPU的目標應用包括嵌入式深度神經(jīng)網(wǎng)絡(luò )、姿態(tài)估計、3D深度感測和手勢/眼睛跟蹤等。隨著(zhù)“相機互聯(lián)網(wǎng)”的爆炸式增長(cháng)，英特爾Movidius VPU為創(chuàng )新應用帶來(lái)了多種功能。此外在設備上直接進(jìn)行人工智能處理也更符合隱私和安全保護的規范。上述設備以及未來(lái)的英特爾Movidius VPU將繼續為視頻分析、機器人和增強現實(shí)等應用領(lǐng)域帶來(lái)價(jià)值。

　　采用英特爾? Nervana? 神經(jīng)網(wǎng)絡(luò )處理器進(jìn)行新一代訓練和推理

　　挑戰：利用全新構建的架構打破當前的系統瓶頸，支持新一代突破性深度學(xué)習解決方案

　　解決方案：即將上市的英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器

　　隨著(zhù)人工智能的發(fā)展，模型的復雜度不斷增加，對內存的需求也越來(lái)越大。深度學(xué)習的進(jìn)一步發(fā)展需要解決內存限制的問(wèn)題，而當前的解決方案無(wú)法利用所有可用的計算，數據科學(xué)家和研究人員逐漸意識到我們需要專(zhuān)用的芯片來(lái)支持深度學(xué)習訓練和推理。英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器提供了一種全新的解決方案，它專(zhuān)門(mén)為支持深度學(xué)習設計和構建，目的是為了解決內存的問(wèn)題。

　　英特爾Nervana NNP首先考慮內存，它采用了大量高帶寬內存和SRAM，更靠近實(shí)際進(jìn)行計算的位置，也就是說(shuō)芯片上能夠存儲更多的模型參數，可以有效節省功耗并提升性能。英特爾Nervana NNP支持大多數深度學(xué)習基元，同時(shí)讓核心硬件組件盡可能高效的工作，確保其他應用(例如圖形)不會(huì )從深度學(xué)習應用中占用內存。此外，英特爾 Nervana NNP的高速片內和片外互連支持大規模雙向數據傳輸，能夠在多個(gè)機箱之間連接多個(gè)處理器，可以作為一個(gè)更大的高效芯片來(lái)容納更大的模型，從而獲得更加深入的洞察。

　　英特爾與Lake Crest軟件開(kāi)發(fā)工具(SDV)方面的主要客戶(hù)合作進(jìn)行NNP 開(kāi)發(fā)、測試和反饋。在推出第一款商用Nervana NNP時(shí)，以上功能都能夠實(shí)現。隨著(zhù)人工智能領(lǐng)域的進(jìn)一步發(fā)展，我迫不及待地想從這些突破性芯片中看到英特爾客戶(hù)的創(chuàng )新和更多見(jiàn)解。

　　簡(jiǎn)化異構部署和加速人工智能創(chuàng )新的軟件

　　框架和庫對于推動(dòng)人工智能的發(fā)展至關(guān)重要，硬件需要同軟件結合來(lái)發(fā)揮最大的效用。英特爾致力于通過(guò)普遍適用的多架構解決方案，將所有人工智能都集成到一個(gè)軟件集合下。比如開(kāi)源nGraph編譯器等項目是非常重要的，因為我們無(wú)需把時(shí)間浪費在重新發(fā)明工具上。

　　我們認為，英特爾有責任優(yōu)化軟件，提供工具，讓硬件發(fā)揮最佳性能，并簡(jiǎn)化模型開(kāi)發(fā)和現實(shí)部署之間的流程。利用英特爾開(kāi)源性能庫，可以從深度學(xué)習的直接優(yōu)化中獲得更多洞察;深度學(xué)習編譯器nGraph已經(jīng)開(kāi)源，能夠跨多個(gè)框架和架構運行訓練和推理;使用OpenVINO?可以快速優(yōu)化預訓練模型，并將視頻神經(jīng)網(wǎng)絡(luò )部署到各種硬件上;BigDL 是運行在A(yíng)pache Spark和Hadoop*集群上的分布式深度學(xué)習庫，通過(guò)BigDL 可以處理大量數據。

　　針對數據時(shí)代提供優(yōu)化的客戶(hù)解決方案

　　英特爾正在幫助客戶(hù)更好地處理每天生成的大量數據并從中獲得價(jià)值。我們致力于提供全面的硬件和工具組合，實(shí)現人工智能愿景。在實(shí)際應用中，人工智能的復雜性要求我們將正確的硬件和軟件結合起來(lái)從而實(shí)現成功部署。英特爾擁有業(yè)內熟知的全棧實(shí)力技術(shù)生態(tài)系統，提供不同功能工具，推動(dòng)人工智能的發(fā)展。