阿里首款AI芯片含光800重磅發(fā)布，全球最強AI推理芯片如何練成？

上周，平頭哥以產(chǎn)品命名猜想為話(huà)題預告本周將發(fā)布重磅新品。2019年杭州云棲大會(huì )上，阿里巴巴集團首席技術(shù)官兼阿里云智能總裁張建鋒發(fā)布了阿里的首款AI芯片含光800，該芯片是一款云端AI芯片，也是全球最高性能的AI推理芯片。含光800主要應用于視覺(jué)場(chǎng)景，已經(jīng)在阿里巴巴集團內多個(gè)場(chǎng)景大規模應用，其它企業(yè)可以通過(guò)阿里云獲得含光NPU的算力。

阿里巴巴集團首席技術(shù)官兼阿里云智能總裁 張建鋒

據悉，含光為上古三大神劍之一，該劍含而不露，光而不耀，正如含光800帶來(lái)的無(wú)形卻強勁的算力。

含光800為何能打破記錄？

根據張建鋒的說(shuō)法，在業(yè)界標準的ResNet-50測試中，含光800推理性能達到78563 IPS，比目前業(yè)界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。

含光800不僅Resnet50的成績(jì)打破記錄，從設計到商用的速度也很快。張建鋒表示，平頭哥用大概一年半的時(shí)間實(shí)現了含光800從設計到商用。雷鋒網(wǎng)了解到，平頭哥用7個(gè)月完成了前端設計，之后用3個(gè)月就成功流片。僅成立一年的平頭哥半導體為何這么快就能設計出云端AI芯片？

要知道，芯片作為典型的長(cháng)周期產(chǎn)品，想加速芯片的商用，在硬件和軟件方面都需要有很強的實(shí)力，特別是在A(yíng)I時(shí)代，軟硬一體化的重要性更加突顯。平頭哥就得益于阿里在軟硬件方面的積累，算法方面，阿里巴巴達摩院機器智能實(shí)驗室過(guò)去兩年構建了完整的算法體系，涵蓋語(yǔ)音智能、語(yǔ)言技術(shù)、機器視覺(jué)、決策智能等方向，并且取得多個(gè)世界領(lǐng)先水平的成果；硬件方面，阿里巴巴此前已在服務(wù)器、FPGA以及存儲等領(lǐng)域擁有多年研發(fā)經(jīng)驗，此外，平頭哥團隊在體系結構、編譯技術(shù)等領(lǐng)域擁有深厚的技術(shù)儲備。

含光800性能的突破得益于軟硬件的協(xié)同創(chuàng )新，芯片架構方面，含光800采用創(chuàng )新的架構，針對深度學(xué)習中使用的大量權重參數和張量數據，在支持稀疏壓縮與量化處理的基礎上，通過(guò)獨特設計的數據訪(fǎng)存與流水線(xiàn)處理技術(shù)，大大減低了I/O需求和數據的搬移。NPU同時(shí)深度優(yōu)化了卷積，矩陣乘，向量計算和各種激活函數，通過(guò)高有效的硬件資源調度和全并行的數據流處理，把AI運算的性能和能效都推向極致。

其中，性能的提升必須解決內存墻問(wèn)題。所謂的內存墻，是指采用采用馮諾依曼結構的處理器，存儲和運算處理分離，當進(jìn)行深度神經(jīng)網(wǎng)絡(luò )處理時(shí)，算力得到了提升，但大量讀寫(xiě)運行操作會(huì )受到帶寬限制，芯片的整體性能提升也同時(shí)受到限制。

平頭哥的做法是通過(guò)自研架構大幅減少對內存的訪(fǎng)問(wèn)，在保證性能的情況下，把芯片功耗降到最低水平。具體而言，含光800會(huì )根據神經(jīng)網(wǎng)絡(luò )推理運算特征，設計特定的硬件、高速連接的存儲結構以及專(zhuān)用指令集，對內存和計算單元實(shí)現高效組織管理，實(shí)現單條指令完成多個(gè)操作，提高計算效率和內存訪(fǎng)問(wèn)效率。

3個(gè)月發(fā)3款芯片新品，阿里“硬”了

阿里首款AI芯片發(fā)布之后，其從云端到終端的產(chǎn)品布局已經(jīng)十分明確。這些產(chǎn)品也都密集在最近幾個(gè)月發(fā)布，今年7月的阿里云上海峰會(huì )上，阿里巴巴集團副總裁戚肖寧發(fā)布了高性能RISC-V架構處理器玄鐵910。玄鐵910集成16個(gè)核心，主頻2.5GHz，采用12級亂序流水線(xiàn)，最大支持8MB二級緩存，搭載AI增強的向量計算引擎，可用在人工智能加速器、網(wǎng)絡(luò )通信和自動(dòng)駕駛等領(lǐng)域?，F場(chǎng)公布的數據顯示，玄鐵910較業(yè)界主流芯片性能提高40%，較標準指令性能高出20%。

8月，平頭哥又發(fā)布SoC芯片平臺“無(wú)劍”，無(wú)劍平臺由SoC架構、處理器、各類(lèi)IP、操作系統、軟件驅動(dòng)和開(kāi)發(fā)工具等模塊構成，面向AIoT提供的集芯片架構、基礎軟件、算法與開(kāi)發(fā)工具于一體的整體解決方案。根據官方的說(shuō)法，無(wú)劍能夠幫助芯片設計企業(yè)將設計成本降低50%，設計周期壓縮50%。

需要指出，7月發(fā)布的玄鐵910是基礎單元處理器IP，無(wú)劍是芯片設計平臺，所以含光800是阿里的首款AI芯片。這也意味著(zhù)，阿里的C-Sky系列、玄鐵系列AIoT終端芯片IP，一站式芯片設計平臺無(wú)劍，以及最新發(fā)布的云端AI芯片構建了阿里端云一體的芯片生態(tài)，平頭哥端云一體全棧芯片產(chǎn)品家族雛形已現。

更值得關(guān)注的是，端側的7款C-Sky系列嵌入式CPU IP核已得到大規模量產(chǎn)驗證，授權客戶(hù)超100家，累計銷(xiāo)售超十億顆，應用于機器視覺(jué)、工業(yè)控制、車(chē)載終端、移動(dòng)通信和信息安全等領(lǐng)域。

RISC-V架構的玄鐵處理器以及無(wú)劍SoC平臺也已有客戶(hù)，包括人工智能企業(yè)云天勵飛、老牌芯片公司炬芯科技等。

含光800也已經(jīng)實(shí)現了大規模應用，應用于阿里巴巴集團內多個(gè)場(chǎng)景，例如視頻圖像識別/分類(lèi)/搜索、城市大腦等，未來(lái)還可應用于醫療影像、自動(dòng)駕駛等領(lǐng)域。同時(shí)，阿里云作為全球前三的云服務(wù)提供商，含光的能力將通過(guò)云服務(wù)對外提供。張建鋒現場(chǎng)宣布，基于含光800的AI云服務(wù)也正式上線(xiàn)。

另外，在生態(tài)建設方面，平頭哥還將成立芯片開(kāi)放社區。

不僅如此，平頭哥還在研發(fā)用于阿里云神龍服務(wù)器的SoC專(zhuān)用芯片。未來(lái)，阿里還將進(jìn)一步完善產(chǎn)品形態(tài)，推出包括云端AI訓練芯片和終端AI推理芯片，滿(mǎn)足更多場(chǎng)景的算力需。

自研AI芯片的終極目的是什么？

阿里從云端到終端AI芯片的布局已經(jīng)明確，并且也已經(jīng)有不少客戶(hù)，這是否意味未來(lái)阿里不僅不需要購買(mǎi)芯片，還可能替代其它芯片公司？答案是否定的。在這一輪的AI浪潮中，我們看到無(wú)論是國外的谷歌、Amazon、Facebook還是國內的阿里，這些強于軟件的科技巨頭們都在積極研發(fā)AI芯片。

至于其中的原因，Cadence首席執行官、華登國際創(chuàng )始人陳立武此前接受雷鋒網(wǎng)采訪(fǎng)時(shí)表示：“科技巨頭積極布局AI是因為他們不希望落后，因為他們都有大量的數據。當然，科技公司開(kāi)始做芯片并不意味著(zhù)傳統的芯片廠(chǎng)商會(huì )被取代，科技公司希望在一些應用上用自主研發(fā)的芯片來(lái)提升效率?！?/p>

事實(shí)也確實(shí)如此，就拿阿里來(lái)說(shuō)，其業(yè)務(wù)橫跨電商、金融、物流、云計算、大數據、全球化等場(chǎng)景，用戶(hù)規模龐大，對算力的需求更高，挑戰也更大。傳統CPU、GPU和FPGA難以滿(mǎn)足所有需求，并且面臨成本和功耗挑戰。定制化的ASIC芯片能夠實(shí)現更高的性能同時(shí)兼具更低功耗，因此科技巨頭們基于對自身業(yè)務(wù)和需求的了解，紛紛開(kāi)始自主研發(fā)AI芯片，希望在保持領(lǐng)先性的同時(shí)，降低整體計算成本。

從全球范圍看，谷歌TPU是全球科技企業(yè)從軟變硬的代表。此次含光800的發(fā)布及商用，表明阿里的優(yōu)勢也不再只是在軟件領(lǐng)域，在A(yíng)I芯片的加持下，未來(lái)阿里的優(yōu)勢也將是軟硬一體的優(yōu)勢。

為了實(shí)現這一目標，阿里幾年前就開(kāi)始了布局。2017年云棲大會(huì )上，阿里成立達摩院，這是阿里在全球多點(diǎn)設立的科研機構，立足基礎科學(xué)、顛覆性技術(shù)和應用技術(shù)的研究。達摩院由全球建設的自主研究中心、高校聯(lián)合實(shí)驗室，全球開(kāi)放研究計劃三大部分組成，涵蓋量子計算、機器學(xué)習、基礎算法、網(wǎng)絡(luò )安全、視覺(jué)計算、自然語(yǔ)言處理、下一代人機交互、芯片技術(shù)、傳感器技術(shù)、嵌入式系統等，涵蓋機器智能、智聯(lián)網(wǎng)、金融科技等多個(gè)產(chǎn)業(yè)領(lǐng)域。

平頭哥得到達摩院和阿里云的軟實(shí)力加持，基于達摩院的算法能力，才能打破了算法和硬件之間的鴻溝，基于阿里云飛天云平臺的優(yōu)勢，得以快速形成了端云一體芯片生態(tài)。

如今，阿里自主研發(fā)芯片的目標也已經(jīng)部分達成。根據云棲大會(huì )的現場(chǎng)演示，在城市大腦中實(shí)時(shí)處理杭州主城區交通視頻，需要40顆傳統GPU，延時(shí)為300ms，使用含光800僅需4顆，延時(shí)降至150ms。拍立淘商品庫每天新增10億商品圖片，使用傳統GPU算力識別需要1小時(shí)，使用含光800后可縮減至5分鐘。

顯然，平頭哥的目的并非是賣(mài)芯片，平頭哥還會(huì )延續了母體阿里巴巴集團“讓天下沒(méi)有難做生意”的愿景，開(kāi)辟了全新的商業(yè)模式，即平頭哥模式（以無(wú)劍平臺為核心），為企業(yè)提供普惠算力。

另?yè)榻B，針對AIoT市場(chǎng)有強應用驅動(dòng)和場(chǎng)景碎片化等特點(diǎn)，芯片公司按照傳統的方式設計芯片很難去適應未來(lái)的需求，平頭哥希望通過(guò)端云一體芯片生態(tài)為各行業(yè)提供普惠算力。

張建鋒說(shuō)：“在全球芯片領(lǐng)域，阿里巴巴是一個(gè)新人，玄鐵和含光800是平頭哥的萬(wàn)里長(cháng)征第一步，我們還有很長(cháng)的路要走?！?/p>

雷鋒網(wǎng)小結

作為科技巨頭，阿里此前更加擅長(cháng)軟件，并且擁有大量的數據。在正在到來(lái)的以數據為中心的時(shí)代，能夠借助AI更快挖掘出數據的價(jià)值將成為科技巨頭們繼續保持領(lǐng)先優(yōu)勢的關(guān)鍵之一。因此，無(wú)論是國外還是國內，科技巨頭們紛紛開(kāi)始投入巨大的資源進(jìn)入技術(shù)、資金、人才都非常密集的芯片產(chǎn)業(yè)，阿里首款AI芯片的推出，意味著(zhù)阿里已經(jīng)不再只擅長(cháng)軟件，在其廣泛的應用場(chǎng)景需求的支撐下，阿里將能夠實(shí)現硬件的快速迭代的完善，在云端和終端進(jìn)一步釋放出軟硬結合的優(yōu)勢。

本文轉自雷鋒網(wǎng)，如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。

原文章地址為阿里首款AI芯片含光800重磅發(fā)布，全球最強AI推理芯片如何練成？