<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>

新聞中心

EEPW首頁(yè) > 嵌入式系統 > 設計應用 > 機器學(xué)習實(shí)戰:GNN(圖神經(jīng)網(wǎng)絡(luò ))加速器的FPGA解決方案

機器學(xué)習實(shí)戰:GNN(圖神經(jīng)網(wǎng)絡(luò ))加速器的FPGA解決方案

—— 應用Achronix Speedster7t FPGA設計高能效、可擴展的GNN加速器
作者:Achronix資深現場(chǎng)應用工程師袁光 (Kevin Yuan) 時(shí)間:2020-10-19 來(lái)源:電子產(chǎn)品世界 收藏


本文引用地址:http://dyxdggzs.com/article/202010/419365.htm

1 概述

得益于大數據的興起以及算力的快速提升,機器學(xué)習技術(shù)在近年取得了革命性的發(fā)展。在圖像分類(lèi)、語(yǔ)音識別、自然語(yǔ)言處理等機器學(xué)習任務(wù)中,數據為大小維度確定且排列有序的歐氏(Euclidean)數據。然而,越來(lái)越多的現實(shí)場(chǎng)景中,數據是以圖(Graph)這種復雜的非歐氏數據來(lái)表示的。Graph不但包含數據,也包含數據之間的依賴(lài)關(guān)系,比如社交網(wǎng)絡(luò )、蛋白質(zhì)分子結構、電商平臺客戶(hù)數據等等。數據復雜度的提升,對傳統的機器學(xué)習算法設計以及其實(shí)現技術(shù)帶來(lái)了嚴峻的挑戰。在此背景之下,諸多基于Graph的新型機器學(xué)習算法—GNN(圖神經(jīng)網(wǎng)絡(luò )),在學(xué)術(shù)界和產(chǎn)業(yè)界不斷的涌現出來(lái)。

GNN對算力和存儲器的要求非常高,其算法的軟件實(shí)現方式非常低效,所以業(yè)界對GNN的硬件加速有著(zhù)非常迫切的需求。我們知道傳統的CNN(卷積神經(jīng)網(wǎng)絡(luò )網(wǎng)絡(luò ))硬件加速方案已經(jīng)有非常多的解決方案;但是,GNN的硬件加速尚未得到充分的討論和研究,在本文撰寫(xiě)之時(shí),Google和百度皆無(wú)法搜索到關(guān)于GNN硬件加速的中文研究。本文的撰寫(xiě)動(dòng)機,旨在將國外最新的GNN算法、加速技術(shù)研究、以及筆者對GNN的FPGA加速技術(shù)的探討相結合起來(lái),以全景圖的形式展現給讀者。

2 GNN 簡(jiǎn)介

GNN的架構在宏觀(guān)層面有著(zhù)很多與傳統CNN類(lèi)似的地方,比如卷積層、Polling、激活函數、機器學(xué)習處理器(MLP)和FC層等等模塊,都會(huì )在GNN中得以應用。下圖展示了一個(gè)比較簡(jiǎn)單的GNN架構。

image.png

圖 1 典型的GNN架構

但是, GNN中的Graph數據卷積計算與傳統CNN中的2D卷積計算是不同的。以圖2為例,針對紅色目標節點(diǎn)的卷積計算,其過(guò)程如下:

●   Graph卷積:以鄰居函數采樣周邊節點(diǎn)特征并計算均值,其鄰居節點(diǎn)數量不確定且無(wú)序(非歐氏數據)。

●   2D卷積:以卷積核采樣周邊節點(diǎn)特征并計算加權平均值,其鄰居節點(diǎn)數量確定且有序(歐氏數據)。

image.pngimage.png

圖2 Graph卷積和2D卷積

3 GraphSAGE算法簡(jiǎn)介

學(xué)術(shù)界已對GNN算法進(jìn)行了非常多的研究討論,并提出了數目可觀(guān)的創(chuàng )新實(shí)現方式。其中,斯坦福大學(xué)在2017年提出的GraphSAGE是一種用于預測大型圖中動(dòng)態(tài)新增未知節點(diǎn)類(lèi)型的歸納式表征學(xué)習算法,特別針對節點(diǎn)數量巨大、且節點(diǎn)特征豐富的圖做了優(yōu)化。如下圖所示,GraphSAGE計算過(guò)程可分為三個(gè)主要步驟:

image.png

圖3 GraphSAGE算法的視覺(jué)表述

●   鄰節點(diǎn)采樣:用于降低復雜度,一般采樣2層,每一層采樣若干節點(diǎn)

●   聚合:用于生成目標節點(diǎn)的embedding,即graph的低維向量表征

●   預測:將embedding作為全連接層的輸入,預測目標節點(diǎn)d的標簽

為了在FPGA中實(shí)現GraphSAGE算法加速,我們需要知悉其數學(xué)模型,以便將算法映射到不同的邏輯模塊中。下圖所示的代碼闡述了本算法的數學(xué)過(guò)程。

image.png

圖4 GraphSAGE算法的數學(xué)模型

對于每一個(gè)待處理的目標節點(diǎn)xv,GraphSAGE 執行下列操作:

1)通過(guò)鄰居采樣函數N(v),采樣子圖(subgraph)中的節點(diǎn)

2)聚合被采樣的鄰節點(diǎn)特征,聚合函數可以為mean()、lstm()或者 polling()等

3)將聚合結果與上一次迭代的輸出表征合并,并以Wk做卷積

4)卷積結果做非線(xiàn)性處理

5)迭代若干次以結束當前第k層所有鄰節點(diǎn)的處理

6)將第k層迭代結果做歸一化處理

7)迭代若干次以結束所有K層采樣深度的處理

8)最終迭代結果zv即為輸入節點(diǎn)xv的嵌入(embedding)

4. GNN加速器設計挑戰

GNN的算法中涉及到大量的矩陣計算和內存訪(fǎng)問(wèn)操作,在傳統的x86架構的服務(wù)器上運行此算法是非常低效的,表現在速度慢,能耗高等方面。

新型GPU的應用,可以為GNN的運算速度和能效比帶來(lái)顯著(zhù)收益。然而GPU內存擴展性的短板,使其無(wú)法勝任海量節點(diǎn)Graph的處理;GPU的指令執行方式,也造成了計算延遲過(guò)大并且不可確定,無(wú)法勝任需要實(shí)時(shí)計算Graph的場(chǎng)景。

如上所述種種設計挑戰的存在,使得業(yè)界急需一種可以支持高度并發(fā)實(shí)時(shí)計算、巨大內存容量和帶寬、以及在數據中心范圍可擴展的GNN加速解決方案。

image.png

圖5 Achronix Speedster7t1500 高性能FPGA 架構

5 GNN加速器的FPGA設計方案

Achronix 公司推出的 Speedster7t系列高性能FPGA,專(zhuān)門(mén)針對數據中心和機器學(xué)習工作負載進(jìn)行了優(yōu)化,消除了CPU、GPU以及傳統 FPGA 存在的若干性能瓶頸。Speedster7t FPGA 基于臺積電的 7nm FinFET 工藝,其架構采用革命性的新型 2D 片上網(wǎng)絡(luò ) (NoC),獨創(chuàng )的機器學(xué)習處理器矩陣 (MLP),并利用高帶寬 GDDR6 控制器、400G 以太網(wǎng)和 PCI Express Gen5 接口,在保障ASIC 級別性能的同時(shí),為用戶(hù)提供了靈活的硬件可編程能力。下圖展示了Speedster7t1500高性能FPGA的架構。

如上所述種種特性,使得Achronix Speedster7t1500 FPGA器件為GNN加速器設計中所面臨的各種挑戰,提供了完美的解決方案。

表1 GNN設計挑戰與Achronix的Speedster7t1500 FPGA解決方案

GNN設計挑戰

Speedster7t1500解決方案

高速矩陣運算

MLP機器學(xué)習處理器矩陣

高帶寬低

延遲存儲

LRAM+BRAM+GDDR6+DDR4

高并發(fā)低

延遲計算

FPGA使用可編程邏輯電路,

在硬件層面確保低高并發(fā)延遲計算

內存擴展

基于4*400Gbps的RDMA,

確保在數據中心范圍以極低延遲擴展內存訪(fǎng)問(wèn)

算法不斷演進(jìn)

FPGA使用可編程邏輯電路,

在硬件層面確保算法可升級重配

設計復雜

豐富的硬IP減少開(kāi)發(fā)時(shí)間和復雜度,

NoC簡(jiǎn)化模塊間互連并提高時(shí)序

5.1 GNN加速器頂層架構

本GNN加速器針對GraphSAGE進(jìn)行設計,但其架構具有一定的通用性,可以適用于其他類(lèi)似的GNN算法加速,其頂層架構如下圖所示。

image.png

圖6 GNN加速器頂層架構(來(lái)源:Achronix原創(chuàng ))

圖中GNN Core為算法實(shí)現的核心部分,其設計細節將在下文展開(kāi)談?wù)?;RoCE-Lite為RDMA協(xié)議的輕量級版本,用于通過(guò)高速以太網(wǎng)進(jìn)行遠程內存訪(fǎng)問(wèn),以支持海量節點(diǎn)的Graph計算,其設計細節將在本公眾號的后續文章中討論;400GE以太網(wǎng)控制器用來(lái)承載RoCE-Lite協(xié)議;GDDR6用于存放GNN處理過(guò)程中所需的高速訪(fǎng)問(wèn)數據;DDR4作為備用高容量?jì)却?,可以用于存儲相對訪(fǎng)問(wèn)頻度較低的數據,比如待預處理的Graph;PCIe Gen5x16提供高速主機接口,用于與服務(wù)器軟件交互數據;上述所有模塊,皆通過(guò)NoC片上網(wǎng)絡(luò )來(lái)實(shí)現高速互聯(lián)。

5.2 GNN Core 微架構

在開(kāi)始討論GNN Core 微架構之前,我們先回顧一下本文第3節中的GraphSAGE算法,其內層循環(huán)的聚合以及合并(包含卷積)等兩個(gè)操作占據了算法的絕大部分計算和存儲器訪(fǎng)問(wèn)。通過(guò)研究,我們得到這兩個(gè)步驟的特征如下:

表2 GNN算法中聚合與合并操作對比


聚合操作

(Aggregation)

合并操作

(Combination)

存儲器

訪(fǎng)問(wèn)模式

間接訪(fǎng)問(wèn),不規則

直接訪(fǎng)問(wèn),規則

數據復用

計算模式

動(dòng)態(tài),不規則

靜態(tài),規則

計算量

性能瓶頸

存儲

計算

可以看出,聚合操作與合并操作,其對計算和存儲器訪(fǎng)問(wèn)的需求完全不同。聚合操作中涉及到對鄰節點(diǎn)的采樣,然而Graph屬于非歐氏數據類(lèi)型,其大小維度不確定且無(wú)序,矩陣稀疏,節點(diǎn)位置隨機,所以存儲器訪(fǎng)問(wèn)不規則并難以復用數據;在合并操作中,其輸入數據為聚合結果(節點(diǎn)的低維表征)以及權重矩陣,其大小維度固定,存儲位置規則線(xiàn)性,對存儲器訪(fǎng)問(wèn)不存在挑戰,但是矩陣的計算量非常大。

基于以上分析,我們決定在GNN Core加速器設計中用兩種不同的硬件結構來(lái)處理聚合操作與合并操作,功能框圖如下圖所示:

image.png

圖7 GNN Core功能框圖(來(lái)源:Achronix原創(chuàng ))

聚合器(Aggregator):通過(guò)SIMD(單指令多數據處理器)陣列來(lái)對Graph進(jìn)行鄰居節點(diǎn)采樣并進(jìn)行聚合操作。其中的“單指令”可以預定義為mean()均值計算,或者其他適用的聚合函數;“多數據”則表示單次mean()均值計算中需要多個(gè)鄰居節點(diǎn)的特征數據作為輸入,而這些數據來(lái)自于子圖采樣器(Subgraph Sampler);SIMD陣列通過(guò)調度器Agg Scheduler做負載均衡;子圖采樣器通過(guò)NoC從GDDR6或DDR4讀回的鄰接矩陣和節點(diǎn)特征數據h0v,分別緩存在A(yíng)djacent List Buffer和Node Feature Buffer之中;聚合的結果hkN(v)存儲在A(yíng)gg Buffer之中。

合并器(Combinator):通過(guò)脈動(dòng)矩陣PE來(lái)執行聚合結果的卷積操作;卷積核為Wk權重矩陣;卷積結果通過(guò)ReLU激活函數做非線(xiàn)性處理,同時(shí)也存儲在Partial Sum Buffer中以方便下一輪迭代。

合并的結果通過(guò)L2BN歸一化處理之后,即為最終的節點(diǎn)表征hkv。

在比較典型的節點(diǎn)分類(lèi)預測應用中,該節點(diǎn)表征hkv可以通過(guò)一個(gè)全連接層(FC),以得到該節點(diǎn)的分類(lèi)標簽。此過(guò)程屬于傳統的機器學(xué)習處理方法之一,沒(méi)有在GraphSAGE論文中體現,此設計中也沒(méi)有包含這個(gè)功能。

6 結論

本文深入討論了GraphSAGE GNN 算法的數學(xué)原理,并從多個(gè)維度分析了GNN加速器設計中的技術(shù)挑戰。作者通過(guò)分解問(wèn)題并在架構層面逐一解決的方法,綜合運用Achronix Speedster7t1500 FPGA所提供的競爭優(yōu)勢,創(chuàng )造了一個(gè)性能極佳且高度可擴展的GNN加速解決方案。



關(guān)鍵詞:

評論


相關(guān)推薦

技術(shù)專(zhuān)區

關(guān)閉
国产精品自在自线亚洲|国产精品无圣光一区二区|国产日产欧洲无码视频|久久久一本精品99久久K精品66|欧美人与动牲交片免费播放
<dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><small id="yhprb"></small><dfn id="yhprb"></dfn><small id="yhprb"><delect id="yhprb"></delect></small><small id="yhprb"></small><small id="yhprb"></small> <delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"></dfn><dfn id="yhprb"></dfn><s id="yhprb"><noframes id="yhprb"><small id="yhprb"><dfn id="yhprb"></dfn></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><small id="yhprb"></small><dfn id="yhprb"><delect id="yhprb"></delect></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn> <small id="yhprb"></small><delect id="yhprb"><strike id="yhprb"></strike></delect><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn><dfn id="yhprb"><s id="yhprb"><strike id="yhprb"></strike></s></dfn><dfn id="yhprb"><s id="yhprb"></s></dfn>