英特爾張宇：軟硬結合創(chuàng )新助力邊緣智能應用落地

人工智能的發(fā)展一次又一次打破了人們對技術(shù)的認知。隨著(zhù)行業(yè)數字化轉型，人們對于敏捷連接，實(shí)施的業(yè)務(wù)以及應用的智能等方面的訴求，推動(dòng)了邊緣人工智能的發(fā)展。相比于火熱的大模型，張宇博士坦言，邊緣人工智能目前絕大部分的應用還處于邊緣推理階段。利用大量數據以及極大算力在數據中心訓練一個(gè)模型，把訓練的結果推送到前端去執行一個(gè)推理操作，這是目前絕大部分在邊緣實(shí)現人工智能的使用模式。這種模式不可避免會(huì )限制模型更新頻率，但是很多智能行業(yè)對模型的更新實(shí)際上是有訴求的。

張宇博士認為人工智能發(fā)展的第二個(gè)階段應該是邊緣訓練階段，但是邊緣訓練并不是把數據中心的訓練方法照搬到邊緣來(lái)進(jìn)行實(shí)現。因為在邊緣來(lái)實(shí)現訓練，有很多特定問(wèn)題和特定挑戰需要解決。比如在智能制造領(lǐng)域或者是在自動(dòng)駕駛領(lǐng)域實(shí)現邊緣訓練，執行這些操作的人員往往是產(chǎn)線(xiàn)工人或汽車(chē)駕駛人員。這些人員往往沒(méi)有人工智能經(jīng)驗，同時(shí)也沒(méi)有精力幫你做人工智能操作。

邊緣人工智能的發(fā)展，從歷史上來(lái)看，它應該發(fā)展成三個(gè)階段：第一個(gè)階段是邊緣推理，第二個(gè)階段是邊緣訓練，第三個(gè)階段是邊緣的自主機器學(xué)習。邊緣人工智能的發(fā)展實(shí)際上面臨著(zhù)眾多的挑戰，除了前面提到的有關(guān)邊緣訓練的挑戰以外，還有邊緣設備面臨的挑戰。由于提供的算力所能夠承載的功耗往往是有限的，所以如何在有限資源的情況下去實(shí)現邊緣的推理及訓練，這對芯片的性能、功耗比提出了更高的要求。另外，邊緣設備的碎片化非常明顯，如何利用軟件很好地實(shí)現在不同平臺之間的遷移，實(shí)際上也提出了更多要求。

張宇直言，如果我們要邊緣實(shí)現邊緣訓練，就需要有更加自動(dòng)化的手段和工具去完成從數據標注到模型的訓練，以及模型部署一整套完整的開(kāi)發(fā)流程。他認為邊緣人工智能下一步的發(fā)展方向應該是自主學(xué)習階段，也就是邊緣的auto machine learning。作為自主學(xué)習，人工智能應該能夠感知人的意圖。根據人的意圖，它能夠設計一個(gè)合理的網(wǎng)絡(luò )模型結構，或選取一個(gè)合理的人工智能網(wǎng)絡(luò )模型，然后自主選擇相應訓練數據集進(jìn)行訓練，再把訓練結果自主推送到前端去執行相應推理操作，完成一整套自主化的過(guò)程。

人工智能的發(fā)展離不開(kāi)算力，離不開(kāi)數據，其實(shí)數據的背后又離不開(kāi)通信技術(shù)以及存儲技術(shù)。應該說(shuō)推動(dòng)本輪人工智能發(fā)展最核心的要素，實(shí)際上是計算、通訊和存儲技術(shù)的不斷提升。張宇博士介紹，英特爾作為一家數據公司，產(chǎn)品恰恰涵蓋了計算、通訊和存儲的各個(gè)方面。在計算方面，英特爾提供的是包括CPU、GPU、FPGA和各種人工智能加速芯片在內的多種產(chǎn)品，來(lái)滿(mǎn)足用戶(hù)對于算力的不同要求。在硬件方面，考慮到邊緣人工智能對于算力、功耗、安全的不同要求，英特爾所采取的思路是同時(shí)推動(dòng)通用處理器和通用GPU并舉的方案。在前端方面，我們會(huì )根據不同場(chǎng)景的要求選擇不同的產(chǎn)品組合，包括獨立顯卡、集成顯卡、CPU以及Habana。

英特爾有不同的計算資源可供用戶(hù)使用，但這需要考慮資源分配和調度問(wèn)題。對于資源調度，需要一個(gè)統一的API接口，否則不同的資源調度都需要不同的接口，這是不經(jīng)濟的。因此，英特爾正在考慮如何在異構平臺上合理分配負載，以進(jìn)行人工智能處理。在底層方面，英特爾采用了OneAPI的思路，它基于DPC++編程模式，利用OneAPI提供的優(yōu)化庫，在英特爾硬件平臺上高效調用底層資源。這是英特爾在底層方面的戰略，并且是我們目前一直在進(jìn)行的工作。

在上層調度方面，我們首先需要考慮資源分配的問(wèn)題。對于大模型的訓練，不同的應用有不同的算法模型和算力要求，因此我們不能使用至強處理器來(lái)進(jìn)行訓練。目前，我們主要推薦使用專(zhuān)門(mén)為大模型訓練設計的Habana Gaudi 2。在最近的MLCommons公開(kāi)的AI評測中，只有英特爾和另一家友商展示了在大模型訓練方面的良好性能，其中英特爾是其中之一。我們計劃不久將其引入中國，并發(fā)布相關(guān)活動(dòng)，這對英特爾來(lái)說(shuō)非常重要。

在軟件推理方面，英特爾提供的OpenVINO深度學(xué)習的部署工具套件，可以將開(kāi)發(fā)人員在開(kāi)放的人工智能框架上所設計和訓練好的網(wǎng)絡(luò )模型交給OpenVINO，它可以幫助開(kāi)發(fā)人員完成從建模到優(yōu)化到部署的開(kāi)發(fā)過(guò)程。在建模方面，OpenVINO提供三百多個(gè)預訓練好的網(wǎng)絡(luò )模型。開(kāi)發(fā)人員可以在模型基礎之上直接進(jìn)行應用的開(kāi)發(fā)，或者在這些模型之上進(jìn)行二次訓練，加速模型的構建速度。在優(yōu)化方面，OpenVINO使用的是網(wǎng)絡(luò )壓縮的技術(shù)，能夠將模型在保證精度的情況下進(jìn)行簡(jiǎn)化。其實(shí)網(wǎng)絡(luò )壓縮是一個(gè)很大的概念，里面包含了若干技術(shù)。除了量化的技術(shù)以外，還包括低比特等一系列的技術(shù)。在訓練完成后，將訓練結果傳遞給OpenVINO進(jìn)行硬件平臺的適配。在OpenVINO的新版本中，它提供了Auto插件，用戶(hù)只需告訴OpenVINO自己關(guān)注的性能指標，如延遲或吞吐量，OpenVINO就能夠自動(dòng)探測硬件類(lèi)型并進(jìn)行硬件配置，將工作負載下發(fā)到相應的硬件上執行人工智能操作。因此，我們希望通過(guò)OpenVINO來(lái)處理調度問(wèn)題。

在調度之前，我們需要進(jìn)行模型壓縮。壓縮不是普通的壓縮，而是根據使用場(chǎng)景、行業(yè)和關(guān)注特征等進(jìn)行有針對性的優(yōu)化，以便于使用OpenVINO進(jìn)行部署和分配硬件負載。因此，在底層方面，我們采用OneAPI來(lái)進(jìn)行統一，而在推理方面，我們將利用OpenVINO來(lái)進(jìn)行負載的分配。對于大模型的訓練，我們將使用Habana Gaudi 2來(lái)完成。