AI芯片能力亟需提高，數據仍是AI核心

作者/上海兆芯集成電路有限公司GPU架構總設計師 顧德明

目前，全球技術(shù)正面臨著(zhù)一場(chǎng)巨大的變革，智能無(wú)處不在的浪潮已然悄然到來(lái)！政府先后推出《新一代人工智能發(fā)展規劃》和《促進(jìn)新一代人工智能發(fā)展三年行動(dòng)計劃（2018-2020年）》，把AI提高到國家戰略層次，建立了相對完整的研發(fā)促進(jìn)機制，協(xié)同推進(jìn)AI發(fā)展。當下，傳統行業(yè)例如工業(yè)控制、醫療影像、零售、汽車(chē)、安防等都在思考如何向智能方向轉型。

作為AI核心的處理器技術(shù)，其最新發(fā)展為設計人員在統一的智能控制模型下實(shí)現創(chuàng )新帶來(lái)了良機。通過(guò)在控制層面對性能、功能作詳細分析，利用統一的標準處理器內核架構，設計人員不但能夠以極具競爭力的價(jià)格獲得最優(yōu)解決方案，還可以通過(guò)軟件復用來(lái)降低軟件的開(kāi)發(fā)成本，大幅縮短設計周期。

x86作為行業(yè)的主流處理器，其架構的優(yōu)點(diǎn)在于功能強大，而且通用性、兼容性、實(shí)用性強，應用范圍廣。傳統應用領(lǐng)域可以在不影響其核心業(yè)務(wù)的情況下，采用x86+AI加速器的方式獲得智能方向的新探索，從而讓?xiě)每焖俾涞亍?/p>

除此之外，與深鑒科技、寒武紀科技等國內AI創(chuàng )業(yè)公司在細分行業(yè)領(lǐng)域的垂直深耕不同，兆芯還注重于解決AI服務(wù)端的訓練和推理的芯片問(wèn)題。這個(gè)領(lǐng)域難度高，挑戰大，對于國家安全和國內AI產(chǎn)業(yè)未來(lái)的可持續性發(fā)展具有深遠的意義。

現階段，服務(wù)端的AI芯片仍被國外完全壟斷，以NVIDIA為首的GPU AI目前占有絕對的領(lǐng)先地位。Amazon、Google、Microsoft等國外公司也為自己的云服務(wù)平臺開(kāi)發(fā)了專(zhuān)屬的ASIC芯片（雖然并不能像NVIDIA兼容龐大的生態(tài)，但是具有不錯的能耗比）。

好的服務(wù)端芯片，不僅要兼容各類(lèi)AI框架軟件生態(tài)，還需要硬件擁有高能效比、可虛擬化等諸多特點(diǎn)。

兆芯研制的基于GPU框架的可編程AI芯片能很好地滿(mǎn)足服務(wù)端的需求，不僅可以兼容NVIDIA創(chuàng )造的生態(tài)環(huán)境，做到即插即用，其獨有的壓縮技術(shù)和AI加速器還能讓芯片具有傳統GPU無(wú)法達到的高能效比。

目前AI技術(shù)仍處于起步階段，監督學(xué)習仍是主要的手段。AI的主流分支--深度學(xué)習技術(shù)也將隨著(zhù)計算力的不斷提升，創(chuàng )造出更加智能的落地應用。

在兆芯看來(lái)，短期內，AI的發(fā)展趨勢有如下特點(diǎn)：

1. 網(wǎng)絡(luò )的復雜度和訓練集的規模將會(huì )進(jìn)一步提高，計算復雜度將達到一個(gè)新的高度。

2. 帶label的數據將成為AI發(fā)展階段最有價(jià)值的資源。

3. 傳統的AI是在設計好的網(wǎng)絡(luò )結構下訓練未知參數，而最新的方法利用GAN類(lèi)似的機制，可以將網(wǎng)絡(luò )訓練成一個(gè)更高精度的全新網(wǎng)絡(luò )框架，而不需要設計者參與。這對于做框架算法的人也帶來(lái)了巨大的挑戰--他們該如何在這個(gè)重數據的AI時(shí)代突破重圍，將AI帶到更高的臺階。

4. CNN等網(wǎng)絡(luò )的安全性問(wèn)題，例如pixel攻擊（通過(guò)干擾讓目標識別錯誤，或者認定為指定目標），這也對現有的應用安全落地帶來(lái)了極大的挑戰。因為在某些應用中安全性是致命的決定因素，如自動(dòng)駕駛。

5. 另外新興的網(wǎng)絡(luò )如capsule是否有機會(huì )替代現有CNN網(wǎng)絡(luò )，這些對于不能軟件編程的AI芯片來(lái)說(shuō)也許是致命的。

AI芯片設計面臨速度、安全及兼容的挑戰

這些動(dòng)向對兆芯的處理器設計和AI芯片設計都提出了一系列的挑戰。

處理器技術(shù)決定互聯(lián)、智慧與傳統制造業(yè)的融合度，從而帶動(dòng)產(chǎn)業(yè)鏈上下游企業(yè)競相入局。AI對處理器設計提出了更高的要求。如邊緣計算，AI設備需要高度集成，低功耗的專(zhuān)用解決方案，因此可以選擇將專(zhuān)用AI模塊集成到SoC內部，并對SoC訪(fǎng)存系統進(jìn)行優(yōu)化，滿(mǎn)足AI模塊的高帶寬需求，同時(shí)可以通過(guò)內置硬件編解碼器，提升視頻的處理性能。在云端計算層面，可以選擇支持多PCI-E 3.0接口，連接GPU或AI加速卡，構建AI運算平臺。傳統行業(yè)設計人員可以復用部分原始軟件代碼，將智能功能調用AI完成，從而降低軟件的開(kāi)發(fā)成本，并大幅縮短新產(chǎn)品設計周期。

而在A(yíng)I芯片設計方面，具體挑戰如下：

1. 網(wǎng)絡(luò )復雜度提高，意味著(zhù)需要更高的計算能力。如何在現有的工藝限定下，最大限度地提高有效計算力（有效計算力，指的是實(shí)際的處理速度，而不是物理上的計算單元數目）。這就要求大家能夠最大限度地解決帶寬、芯片互聯(lián)、功耗、同步等問(wèn)題，這些是決定芯片效率的關(guān)鍵因素。

2. 由深度學(xué)習產(chǎn)生的非規則的網(wǎng)絡(luò )結構，雖然效果好，但是復雜的連接關(guān)系會(huì )令傳統ASIC AI芯片更加難以?xún)?yōu)化加速。

3. 安全性問(wèn)題是AI最為敏感話(huà)題，也是新的網(wǎng)絡(luò )結構的需求，或者說(shuō)下一代的AI網(wǎng)絡(luò )結構需要解決的問(wèn)題。

4. 新興網(wǎng)絡(luò )，如capsule,雖然解決了CNN網(wǎng)絡(luò )諸多問(wèn)題，也引出了與現有硬件不太適應的問(wèn)題。如何提好訓練效率，如何設計硬件讓其在可編程性和高效之間達到一個(gè)平衡點(diǎn)，來(lái)滿(mǎn)足不斷演進(jìn)的算法需求，是芯片設計商的設計原則。

x86+外接AI PCIe加速卡及AI計算芯片

兆芯是國內僅有的同時(shí)掌握中央處理器（CPU）、圖形處理器（GPU）、芯片組（Chipset）三大核心技術(shù)的公司，擁有三大核心芯片及相關(guān)IP的完全自主設計研發(fā)能力，全部研發(fā)環(huán)節透明可控。因此，我們可以利用自身優(yōu)勢，針對AI應用需求，優(yōu)化產(chǎn)品設計，為客戶(hù)提供高效、高性能、低功耗的解決方案。

目前，兆芯產(chǎn)品已經(jīng)廣泛應用于臺式機、筆記本、一體機、存儲服務(wù)器、磁盤(pán)陣列、工控整機等多種形態(tài)產(chǎn)品，是國內唯一具備無(wú)縫替代國外同類(lèi)產(chǎn)品條件的國產(chǎn)自主可控通用CPU。

面對AI需求的迅速崛起，我們正在思考如何對這些產(chǎn)品形態(tài)進(jìn)行智能升級，通過(guò)x86+外接AI PCIe加速卡的方式構建運算平臺加速應用落地。

與此同時(shí)，兆芯已經(jīng)利用自己GPU技術(shù)的獨特優(yōu)勢，設計了全新的AI計算芯片：

1. 基于兆芯GPU的AI硬件加速框架很好的解決了：

2多計算單元的并行性管理和可擴展性問(wèn)題

2軟件生態(tài)的兼容性問(wèn)題，支持OpenCL，CUDA等GPGPU API

2. 獨有專(zhuān)用加速器在能效比和可編程性之間做了很好的折中

3. 新型壓縮技術(shù)大幅降低了芯片的帶寬需求，從而有效的提高了計算單元和加速器利用率

4. 支持硬件虛擬化

5. 靈活的GPGPU編程，可以適應多樣算法變革，全新同步機制可以高效完成多局部和多芯片同步，較好的適應新興的網(wǎng)絡(luò )結構

6. 在解決安全的方向上，如視覺(jué)攻擊，兆芯利用自主設計的視覺(jué)芯片和深度學(xué)習相結合的方式大幅度降低了攻擊成功的概率

總之，對于A(yíng)I來(lái)講，目前仍處于一個(gè)開(kāi)始的階段，數據仍是整個(gè)AI的核心，硬件和軟件架構都在不斷的相互變化中，每一次硬件變革都會(huì )帶來(lái)軟件變化，軟件變化，工藝變化又會(huì )促進(jìn)硬件的進(jìn)一步改良。對于兆芯來(lái)講，我們一方面會(huì )不斷演進(jìn)加速器設計，讓其更好的加速主流算法，同時(shí)會(huì )保留足夠通用編程靈活性，給新的算法創(chuàng )造好的并行計算環(huán)境，也為國內AI高端芯片自主可控發(fā)展貢獻力量。