支持嵌入式視覺(jué)神經(jīng)網(wǎng)絡(luò )的數字信號處理器(DSP)

Cadence IP事業(yè)部Tensilica Vision DSP產(chǎn)品系列營(yíng)銷(xiāo)總監 Pulin Desai

　　在手機、安防監控、汽車(chē)、增強現實(shí)/虛擬現實(shí)(AR/VR)領(lǐng)域，無(wú)論正在開(kāi)發(fā)的還是計劃中的各類(lèi)嵌入式應用都涉及到了神經(jīng)網(wǎng)絡(luò )，神經(jīng)網(wǎng)絡(luò )應用正在呈爆炸式增長(cháng)。神經(jīng)網(wǎng)絡(luò )領(lǐng)域創(chuàng )新力非凡，其自身架構不斷更新?lián)Q代，新網(wǎng)絡(luò )、新應用和市場(chǎng)也層出不窮。隨著(zhù)神經(jīng)網(wǎng)絡(luò )應用的日益深入和復雜，對計算性能的要求也與日俱增。短短不到4年的時(shí)間里，MAC/幀的計算需求大約增長(cháng)了16倍(見(jiàn)圖1)。

圖1 MAC/幀的計算需求的增長(cháng)

　　隨著(zhù)神經(jīng)網(wǎng)絡(luò )的發(fā)展，在設備中嵌入處理器(而非使用CPU和GPU)的需求不斷增加。然而，網(wǎng)絡(luò )的處理能力和運行速度并沒(méi)有跟上神經(jīng)網(wǎng)絡(luò )應用的發(fā)展要求，這一沖突在視覺(jué)應用領(lǐng)域尤為明顯。截至目前，滿(mǎn)足神經(jīng)網(wǎng)絡(luò )應用需求只能借助傳統數據中心的資源。然而，隨著(zhù)安全性和延遲成為重要的考慮因素，通過(guò)嵌入式系統實(shí)現神經(jīng)網(wǎng)絡(luò )愈發(fā)普遍，以實(shí)現實(shí)時(shí)數據處理。雖然大部分的神經(jīng)網(wǎng)絡(luò )訓練可以在線(xiàn)下實(shí)現，但使用神經(jīng)網(wǎng)絡(luò )的應用必須將其嵌入至系統中。

　　所有嵌入式應用中，AR/VR或混合現實(shí)面臨著(zhù)獨有的挑戰。上述領(lǐng)域的設備大多屬于智能頭盔、耳機或智能眼鏡等可穿戴設備，依靠電池供電，能耗時(shí)選擇神經(jīng)網(wǎng)絡(luò )解決方案時(shí)最重要的考量之一。AR/VR應用的另一個(gè)重要需求是減小延遲，所以神經(jīng)網(wǎng)絡(luò )必須實(shí)現設備嵌入。所有這些設備都需要某種圖像識別、手勢識別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測和眼球跟蹤能力?，F在的成像技術(shù)多種多樣，但隨著(zhù)時(shí)間的推移，其中某些功能，如語(yǔ)義環(huán)境理解、手勢識別或圖像識別，將都可以通過(guò)神經(jīng)網(wǎng)絡(luò )實(shí)現。除了成像/視覺(jué)神經(jīng)網(wǎng)絡(luò )，這些設備還對聲音/音頻神經(jīng)網(wǎng)絡(luò )提出了要求，以接收語(yǔ)音指令。

　　在技術(shù)環(huán)境瞬息萬(wàn)變的今天，AR/VR設備制造商需要現在立即為2019年、2020年甚至更晚上市的產(chǎn)品選定平臺。引入新的神經(jīng)網(wǎng)絡(luò )后，由于其架構不斷變化，我們無(wú)法確保當前有效的工作平臺在未來(lái)系統中的有效性。此外，這些應用還要求實(shí)現低延遲和低功耗，這一點(diǎn)也尤為重要;但鑒于神經(jīng)網(wǎng)絡(luò )需求的不斷增長(cháng)和這一趨勢的不斷進(jìn)展，我們仍需保證一定的靈活度和前瞻性。

　　目前，實(shí)現神經(jīng)網(wǎng)絡(luò )有兩個(gè)主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個(gè)選擇都可以各自解決設計人員面臨的一些挑戰;但又都在開(kāi)發(fā)的簡(jiǎn)易程度、功耗效率、延遲、未來(lái)升級空間或性能方面有一些令人不滿(mǎn)意的折衷。硬件加速器與匹配的成像DSP是嵌入式設備的選擇之一，但這一組合效率低下，會(huì )產(chǎn)生不必要的功耗。除了開(kāi)發(fā)困難，軟件還必須在DSP和加速器之間進(jìn)行分區。僅卸載卷積層會(huì )顯著(zhù)增加數據傳送負擔，并影響效率。另外，硬件在流片時(shí)便已固定，所以這些加速器將不具備未來(lái)的升級空間。

　　符合嵌入式應用需要的神經(jīng)網(wǎng)絡(luò )DSP解決方案要滿(mǎn)足以下要求：易于開(kāi)發(fā)、能夠處理龐大的數據量、未來(lái)具有升級空間、有效地使用能源并實(shí)現延遲最小化。

Cadence解決方案：Tensilica Vision C5數字信號處理器(DSP)

　　作為面向視覺(jué)和融合傳感器應用優(yōu)化的解決方案，Cadence Tensilica Vision C5 DSP是業(yè)界首款致力于神經(jīng)網(wǎng)絡(luò )處理并適用于多處理器架構的DSP。這一解決方案實(shí)現了前所未有的速度和低功耗，并滿(mǎn)足高階神經(jīng)網(wǎng)絡(luò )技術(shù)的全部要求。

　　該解決方案以近20年的Xtensa多處理器經(jīng)驗為基礎，具有存儲器結構共享、允許中斷、同步隊列和同步多處理器調試等特性。Vision C5 DSP可以實(shí)現全神經(jīng)網(wǎng)絡(luò )層的計算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺(jué)處理DSP的能力得以釋放，獨立運行圖像增強應用程序;而Vision C5 DSP則運行推理任務(wù)。通過(guò)移除硬件加速器的冗余數據傳輸，Vision C5 DSP的功耗遠低于現有的神經(jīng)網(wǎng)絡(luò )加速器。

　　Vision C5 DSP具備1TMAC /秒的計算能力，可以滿(mǎn)足神經(jīng)網(wǎng)絡(luò )不斷增長(cháng)的計算要求;并且計算精確，擁有多核心設計架構，支持多TMAC嵌入式解決方案。Vision C5 DSP針對的是經(jīng)常運行多個(gè)神經(jīng)網(wǎng)絡(luò )的應用。由于其可編程特性，該解決方案具有未來(lái)升級空間，并且能夠隨著(zhù)設計的改變而支持新分層。

　　視覺(jué)處理系統必須設計全面，適用于所有平臺，并同步開(kāi)發(fā)硬件和軟件。為了開(kāi)發(fā)這項技術(shù)，設計人員必須使用支持高效算法的工具和IP，采用的硬件平臺也需滿(mǎn)足每個(gè)應用程序的目標成本和功耗要求。從系統層面來(lái)看，Cadence可以支持嵌入式視覺(jué)設備的設計人員盡可能最快速的高效地開(kāi)發(fā)變革性產(chǎn)品。