全球缺芯大潮中，以軟代硬能否另辟蹊徑？

在5G和人工智能的技術(shù)浪潮如約而至以后，業(yè)內人士無(wú)不對IoT產(chǎn)業(yè)的未來(lái)報以極大的期待。以人工智能和家居設備為基礎，再加上算力與網(wǎng)絡(luò )支持，有理由相信未來(lái)IoT相關(guān)產(chǎn)業(yè)必將迎來(lái)爆發(fā)。然而今年，席卷全球的芯片產(chǎn)能不足問(wèn)題影響到了各行各業(yè)，其對于普通人影響或許是價(jià)格，但對于企業(yè)而言，其事關(guān)生死存亡。尤其是扎根于各類(lèi)智能設備的企業(yè)而言，如何提升芯片效能，提升端側的智慧能力，這幾乎可以被視作2021年IoT產(chǎn)業(yè)生存的第一要務(wù)。

與此同時(shí)，我們還能看到太多的算法模型在走向極致，對于用戶(hù)苛刻的智能需求，巨大模型在不斷地完善和構建；而對于一些高頻次和便捷性的智能需求，能夠運行在邊緣側的小模型也同樣受人歡迎。當芯片產(chǎn)能無(wú)法在一朝一夕之間解決，從生產(chǎn)線(xiàn)的構建到各類(lèi)原材料價(jià)格，哪怕是再小的因素都可能形成蝴蝶效應，那么是否有可能從邊緣側，在終端上，借助軟件的力量來(lái)實(shí)現芯片的升級呢？

這一想法當然不是沒(méi)人能想到，CoCoPIE便是在嘗試的企業(yè)之一。在國慶期間，筆者也與遠在硅谷的CoCoPIE公司負責人李曉峰博士連線(xiàn)，一起聊了關(guān)于芯片，關(guān)于A(yíng)I，也關(guān)于當下的這些故事。

5G和AI如約而至，邊緣的浪潮來(lái)了嗎？

在加入CoCoPIE之前，李曉峰博士就已在終端產(chǎn)業(yè)做出了諸多成績(jì)。14年的英特爾職業(yè)生涯，從超級計算到服務(wù)器計算，又到個(gè)人機計算，再到后來(lái)移動(dòng)計算，他領(lǐng)導團隊開(kāi)發(fā)的微運行時(shí)系統在英特爾的平臺上被廣泛部署。在大潮洶涌而過(guò)時(shí)，李曉峰博士看到了端側計算的重要性不斷擴展，行業(yè)巨頭們的探索接踵而至，端側用戶(hù)價(jià)值不斷提升。于是，李曉峰博士便帶領(lǐng)Intel中國運行時(shí)實(shí)驗室，在谷歌正式發(fā)布Android之前便開(kāi)始了Android的研究和優(yōu)化工作，曾負責Android系統在英特爾移動(dòng)平臺上的性能、功耗和流暢性，并開(kāi)發(fā)了業(yè)界的第一個(gè)Android評測套件。在離開(kāi)英特爾時(shí)，李曉峰博士對端側技術(shù)和用戶(hù)需求就已經(jīng)有了非常深刻的理解。

CoCoPIE 公司負責人 李曉峰

此后，李曉峰博士的工作一直圍繞著(zhù)端側智能設備相關(guān)技術(shù)。曾任華米美國分公司總經(jīng)理，兼技術(shù)副總裁，負責協(xié)助建立美國研發(fā)團隊，并領(lǐng)導團隊進(jìn)行健康手環(huán)產(chǎn)品的軟件和算法研發(fā)；還曾擔任華為技術(shù)副總裁，在華為美研帶領(lǐng)團隊研發(fā)下一代操作系統，并負責基于深度學(xué)習的移動(dòng)感知平臺的構建，研發(fā)應用于移動(dòng)設備的智能感知算法；加盟CoCoPIE之前，李曉峰博士是OPPO軟件的首席架構師，負責基礎軟件技術(shù)的戰略和實(shí)施。

豐富的業(yè)界經(jīng)驗與技術(shù)攻關(guān)成績(jì)，讓李曉峰博士對端側設備智能化的需求有了更加深入的理解，那么端側智能市場(chǎng)的未來(lái)，會(huì )有怎樣的脈絡(luò )呢？CoCoPIE對端側智能相關(guān)市場(chǎng)進(jìn)行過(guò)一番深入的調查，并且找到牛津大學(xué)商學(xué)院的咨詢(xún)機構，對端側AI中的IoT智能設備、媒體娛樂(lè )應用以及芯片三大應用市場(chǎng)進(jìn)行了系統分析。在未來(lái)，端側AI有著(zhù)巨大的市場(chǎng)需求，其市場(chǎng)空間可能高達1.06萬(wàn)億美元。

通過(guò)端側AI能夠有效的降低云側成本，使得數據存儲和前期的分析等可以放在端側執行，從而降低云側計算、網(wǎng)絡(luò )流量等成本；更重要的是，因為端側AI不需要把數據上傳，有效地滿(mǎn)足了呼聲日高的用戶(hù)數據隱私和安全保護需求；在媒體娛樂(lè )方面，對用戶(hù)體驗的提升成為端側服務(wù)以及設備提供商的主要競爭熱點(diǎn)，越來(lái)越多的智能玩法出現在生活之中，如變臉增強，智能交互等娛樂(lè )手段也不再新鮮，而端側AI的實(shí)時(shí)處理能力，相比云側計算可以實(shí)現用戶(hù)體驗的飛躍式提升，并使能大量通過(guò)云服務(wù)無(wú)法實(shí)現的新型體驗；而芯片側則是當下的熱點(diǎn)話(huà)題，由于芯片產(chǎn)能不足，高端芯片的供貨也存在一定空缺，另一方面，端側AI的需求對端側算力的需求又大大增加。要解決這個(gè)矛盾，通過(guò)軟件優(yōu)化技術(shù)，可以降低對專(zhuān)用芯片、高端芯片的需求，縮短產(chǎn)品研發(fā)周期，從而實(shí)現以軟件技術(shù)來(lái)改善、促進(jìn)芯片產(chǎn)業(yè)的發(fā)展，在當前和未來(lái)都有著(zhù)巨大的發(fā)展空間。

李曉峰博士認為，數字化的發(fā)展歷史就是讓計算設備更加智能化、讓智能不斷滲透物理世界的過(guò)程，從計算器到計算機，再從計算機到智能設備，這一趨勢一脈相承。上一代設備智能化發(fā)展的核心手段是在設備上植入芯片來(lái)運行軟件應用，而當前這一代設備智能化的核心手段則是在設備上支撐深度神經(jīng)網(wǎng)絡(luò )的AI應用，這是數字化發(fā)展的必然，是不可阻擋的趨勢。因此，李曉峰博士在這一趨勢中順勢而為，投身于CoCoPIE創(chuàng )業(yè)，希望通過(guò)解決AI計算中的瓶頸問(wèn)題，改變人們的生活。

當前實(shí)現AI普及最大的瓶頸問(wèn)題就是，隨著(zhù)AI技術(shù)的發(fā)展，模型變得越來(lái)越大，算力需求因此也越來(lái)越大。隨著(zhù)各種超大模型的誕生，AI任務(wù)的運行甚至要上超算才能解決算力的問(wèn)題?？墒?，AI并不是高算力平臺的專(zhuān)利，端側也一樣需要AI智能化。CoCoPIE便是通過(guò)軟件優(yōu)化技術(shù)，大幅度提升AI任務(wù)的運行效率，讓非專(zhuān)業(yè)芯片獲得超越專(zhuān)業(yè)芯片的效率，也可以讓專(zhuān)業(yè)芯片的效率進(jìn)一步增益，從而達到AI能力普及化的目的。

軟件與硬件的交織，對于A(yíng)I模型的另一種嘗試

在過(guò)去的幾年里，我們看到海量的AI創(chuàng )業(yè)公司如雨后春筍般冒出，卻又一批批的悄然消失。最終留下來(lái)的，要么技術(shù)雄厚，要么家底雄厚，由此不難看出，AI產(chǎn)業(yè)不僅僅有技術(shù)的門(mén)檻，也有行業(yè)的門(mén)檻存在。有實(shí)力的廠(chǎng)商往往需要自己研發(fā)專(zhuān)用芯片來(lái)從硬件架構方面實(shí)現適配深度神經(jīng)網(wǎng)絡(luò )算法，在李曉峰博士看來(lái)，這樣做的問(wèn)題就在于研發(fā)周期和技術(shù)投入都會(huì )很高，風(fēng)險和挑戰也會(huì )很大。CoCoPIE的做法是針對芯片特性對模型進(jìn)行優(yōu)化，實(shí)現在不降低模型精確度的情況下，在通用芯片上的效能超過(guò)專(zhuān)用芯片。同時(shí)，其作為一種軟件的技術(shù)，與AI專(zhuān)用芯片并非互斥，而是可以進(jìn)一步釋放其潛在能力。

舉例來(lái)看，當我們在看視頻的時(shí)候，云側往往需要在云端存儲同一個(gè)視頻的各種分辨率的視頻內容，然后根據網(wǎng)絡(luò )帶寬情況或用戶(hù)選擇，通過(guò)網(wǎng)絡(luò )傳輸到用戶(hù)設備上。但是如果改為由端側設備自動(dòng)將低分辨率的視頻提升為高分辨率，云側只需要存儲一種低分辨率的視頻內容，通過(guò)網(wǎng)絡(luò )也只需要傳輸低分辨率內容，這樣就能夠有效降低對云側存儲、網(wǎng)絡(luò )帶寬的要求。但要在端側實(shí)現高性能的實(shí)時(shí)超分辨率，目前對端側算力、功耗有較高要求，這也是目前超分辨率技術(shù)在端側設備遲遲不能普及的根本原因。通過(guò)CoCoPIE在端側的軟件優(yōu)化技術(shù)，已經(jīng)可以輕松做到在通用手機平臺芯片上的實(shí)時(shí)超分辨率，根據平臺需求可以達到30FPS甚至60FPS，實(shí)現對網(wǎng)絡(luò )服務(wù)商、手機設備商、終端消費者的多贏(yíng)。

把AI任務(wù)運行到端側設備上，往往需要做兩步，壓縮和編譯。而CoCoPIE技術(shù)的與眾不同之處在于對壓縮和編譯的協(xié)同設計，也就是在壓縮時(shí)考慮編譯器和芯片結構特征，從而找到最佳壓縮策略，為編譯做好準備；在編譯時(shí)則充分利用壓縮模型的結果，對芯片進(jìn)行針對性代碼生成。簡(jiǎn)單來(lái)講，就是根據第一性原理，先找到最優(yōu)解的方法，然后根據實(shí)際情況進(jìn)行甄選，讓實(shí)際情況逼近最優(yōu)結果。依據這一規則，CoCoPIE的技術(shù)可以同時(shí)實(shí)現精確度和高性能。

AI模型壓縮的方法在業(yè)界有很多，其中主流的是權重剪枝和量化。權重剪枝的技術(shù)又可以分為結構化和非機構化兩種，二者各有利弊，結構化剪枝只能對過(guò)濾器和通道進(jìn)行剪枝，剪枝結果規則，對硬件加速和計算效率提升較好，問(wèn)題是剪枝粒度粗，準確率降低；而非結構化剪枝則可以使得剪枝維度做到很小，而且準確率也很高，但問(wèn)題是剪枝不規則，對硬件不友好，能耗較高，且計算效率不高。

那么有沒(méi)有第三條路呢？顯然是有的，CoCoPIE提出了基于模式的剪枝方式，在結構化和非結構化之間尋找平衡，塑造一種細粒度的結構化剪枝，在多種剪枝結果中尋找最優(yōu)解，確定匹配AI模型和芯片平臺的最佳壓縮模式。根據協(xié)同設計原則，CoCoPIE框架由兩個(gè)組件組成：CoCo-Tune和CoCo-Gen。

CoCo-Tune的主要任務(wù)是剪枝和壓縮，在訓練過(guò)程中，網(wǎng)絡(luò )的體量足以允許局部網(wǎng)絡(luò )的重用，利用這一性質(zhì)，其通過(guò)模塊化局部網(wǎng)絡(luò )重用，能夠顯著(zhù)縮短確定要修剪的適當DNN參數集的過(guò)程。CoCo-Gen可以根據結果進(jìn)行微調和生成，進(jìn)行細粒度的剪枝和最優(yōu)適配代碼的生成，也就是通過(guò)基于模式的DNN剪枝與基于模式的感知生成代碼相協(xié)同，生成高效的 DNN 執行代碼。

邊緣的AI，設備的未來(lái)

在李曉峰博士看來(lái)，設備是為人服務(wù)的，也是人能力的一種延伸。比如計算機是人大腦的延伸，相機是人的眼睛的延伸，各種端側設備也都與人們的生活十分貼近。當人在與數字世界交互時(shí)，設備就是人類(lèi)與數字世界之間的入口和出口，AI的能力不論多強，最終都必須要通過(guò)端側設備這個(gè)門(mén)戶(hù)。端側設備作為入口，需要提供大量對人們活動(dòng)、意圖的感知能力，從而更好地理解人本身；而作為出口，端側設備則需要給人提供更加愉悅的感官體驗和新型服務(wù)體驗。這一切的技術(shù)革新，意義深遠，而背后則意味著(zhù)對端側AI能力的極大需求。

其實(shí)不僅僅是手機、家電這些設備，就是更加復雜的邊緣設備也可以從CoCoPIE的技術(shù)中獲得巨大的收益。例如，通過(guò)CoCoPIE的解決方案，可以在幾百美金的芯片上，實(shí)現上萬(wàn)美金級別的無(wú)人駕駛專(zhuān)用平臺能力。這些技術(shù)所展示出來(lái)的巨大潛力，對各類(lèi)移動(dòng)側、邊緣側的客戶(hù)都有很大的吸引力。因此包括互聯(lián)網(wǎng)大廠(chǎng)，芯片平臺提供商，手機廠(chǎng)商，美國交通部以及某無(wú)人駕駛公司等十余家企業(yè)已然成為了CoCoPIE的合作伙伴。

作為技術(shù)產(chǎn)品，CoCoPIE交付服務(wù)的方式也是多樣化的，主要包括了完整的自動(dòng)化工具鏈和AI模型倉庫，可以通過(guò)許可授權或云服務(wù)來(lái)使用。同時(shí)CoCoPIE也在平臺廠(chǎng)家進(jìn)行軟硬一體化設計，針對特定硬件平臺進(jìn)行整體的加速方案集成。

當然，端云結合的趨勢在A(yíng)I領(lǐng)域也一樣存在。未來(lái)AI在端側和云側將各司其職，端側承接入口和出口的任務(wù)，云側依然可以是中軍帳，二者必將同步前進(jìn)。在今年8月，CoCoPIE完成數千萬(wàn)元A輪融資，李曉峰博士認為公司下一階段還將集中精力發(fā)展核心技術(shù)及其產(chǎn)品，并不斷提升技術(shù)壁壘，比如側重用戶(hù)數據安全隱私的計算技術(shù)，對平臺能力動(dòng)態(tài)適配的自適應技術(shù)等；另一方面，CoCoPIE也會(huì )積極拓展自己的合作生態(tài)，讓更多的合作伙伴通過(guò)優(yōu)異的端側AI能力為他們的客戶(hù)提供更好的服務(wù)。

未來(lái)AI是無(wú)處不在的，這一點(diǎn)毋庸置疑，李曉峰博士表示：“上一次的浪潮中芯片隨著(zhù)智能設備變得無(wú)處不在，而下一波浪潮里AI將會(huì )隨著(zhù)芯片變得無(wú)處不在，我們的目標就是‘凡有AI處，就有CocoPIE’?！?/p>

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。