HyperLink編程和性能考量

摘要

HyperLink 為兩個(gè)KeyStone 架構DSP 之間提供了一種高速，低延遲，引腳數量少的通信接口。HyperLink 的用戶(hù)手冊已經(jīng)詳細的對其進(jìn)行了描述。本文主要是為HyperLink 的編程提供了一些額外的補充信息。

同時(shí)本文還討論了HyperLink 的性能，提供了在各種操作條件下的性能測試數據。對影響HyperLink 性能的一些參數進(jìn)行了討論。

文章的最后附上對應本文的應用代碼。

1、HyperLink 介紹

HyperLink 為兩片DSP 之間提供一種高速、低延遲，引腳數少的通信連接接口。

HyperLink 的設計速度最高速率支持12.5Gbps，目前在大部分的KeyStone DSPs 上, 由于受限于SerDes 和板級布線(xiàn)，速度接近為10Gbps 。HyperLink 是TI 專(zhuān)有的外設接口。相對于用于高速Serdes 接口的傳統的8b10b 編碼方式，HyperLink 減少了編碼冗余，編碼方式等效于8b9b。單片DSP 為HyperLink 提供4 個(gè)SerDes 通道，所以10Gbps 的HyperLink 理論吞吐率為10*4*(8/9)= 35.5Gbps= 4.44GB/s.

HyperLink 使用了PCIE 類(lèi)似的內存映射機制，但它為多核DSP 提供了一些更靈活的特性。本文將會(huì )使用幾個(gè)范例來(lái)詳細解釋這一點(diǎn)。

本文還討論了HyperLink 的性能，提供了在各種操作條件下的性能測試數據。對影響HyperLink 性能的一些因素進(jìn)行了討論。

2、HyperLink 配置

本節提供了一些配置HyperLink 模塊的補充信息。

2.1 Serdes 配置

Serdes 必須配置成期望的鏈接速度。圖1 表示了輸入參考時(shí)鐘和輸出時(shí)鐘之間的關(guān)系。

輸入參考時(shí)鐘建議限制在156.25MHz ~312.5MHz 范圍內。Serdes PLL 的倍頻系數必須合理配置生成的內部時(shí)鐘(internal clock)限制在1.5625GHz ~ 3.125GHz 范圍內。

最后的鏈接速度由內部時(shí)鐘(internal clock)驅動(dòng)，通過(guò)link rate 配置來(lái)得到。

2.2 HyperLink 存儲映射配置

HyperLink 的存儲映射非常的靈活。HyperLink 的用戶(hù)手冊對此作了詳細的描述。本節將用兩個(gè)例子來(lái)詳細的解釋它。圖2 是第一個(gè)例子。

圖2 通過(guò)HyperLink 窗口映射到遠端不同類(lèi)型的存儲空間

在這個(gè)例子里面，DSP1 的存儲空間映射到了DSP0 的存儲空間窗口0x40000000~0x50000000DSP0 可以訪(fǎng)問(wèn)DSP1 的所有內存空間，包括LL2，SL2，DDR，就像訪(fǎng)問(wèn)自己的本地的存儲空間一樣。在DSP0 上，所有的Master 都可以通過(guò)以0x40000000 起始的Outbound 窗口地址來(lái)訪(fǎng)問(wèn)DSP1 的存儲空間，但是不同master 事實(shí)上可能訪(fǎng)問(wèn)到DSP1 上不同的存儲空間。原因是HyperLink 發(fā)送側傳輸數據時(shí)，會(huì )將PrivID 一起傳輸。接受側通過(guò)PrivID 值，可以建立不同的地址映射表

對DSP0 與DSP1 的內存映射關(guān)系總結在下表(表1)。

通過(guò)上表的配置，可知

當DSP0 的core 0/1 訪(fǎng)問(wèn)0x40800000，它事實(shí)上訪(fǎng)問(wèn)了DSP1 上的LL2 地址空間。

當DSP0 的core0 訪(fǎng)問(wèn)0x4D000000，它事實(shí)上訪(fǎng)問(wèn)了DSP1 上DDR 的地址空間0x8C000000

當DSP0 的core1 訪(fǎng)問(wèn)0x4D000000 ，它事實(shí)上訪(fǎng)問(wèn)了DSP1 上DDR 的地址空間0x8F000000 與本文檔對應的范例工程將HyperLink 配置成上述的內存映射關(guān)系。下面是關(guān)鍵部分的配置代碼。

對于一些簡(jiǎn)單的應用，可能只是想訪(fǎng)問(wèn)遠程DSP 的DDR 空間,那么下面的例子用于這種情況。存儲映射關(guān)系如下圖所示。

圖3 通過(guò)HyperLink 窗口只映射到遠端的DDR 空間

這是最簡(jiǎn)單的例子,但是卻可以訪(fǎng)問(wèn)遠端DSP 的大塊存儲空間。DSP0 上的每個(gè)master(core 或者其他外設) 都可以可以訪(fǎng)問(wèn)DSP1 上256MB DDR 空間。下表描述了core0 和core1 的對remote DSP DDR 存儲映射。

3、HyperLink 性能考慮

本節將讓設計者對HyperLink 訪(fǎng)問(wèn)遠程存儲空間的性能評估有基本的認識。同時(shí)提供了在不同的操作條件下獲得的性能測試數據。大部分測試是在最理想的測試條件進(jìn)行，以評估可以獲得的最大吞吐量。

本文所描述的絕大部分性能數據是在C6670EVM 上獲得。C6670 EVM 上DDR 配置成64bit 位寬1333M，HyperLink 速率配置成10Gbit。

一些影響HyperLink 訪(fǎng)問(wèn)性能的因素在本節中將會(huì )被討論到。

3.1 通過(guò)HyperLink 實(shí)現存儲拷貝的性能

下表(表3)描述了使用HyperLink 在LL2 與遠程大塊線(xiàn)性存儲空間進(jìn)行數據傳送測試獲得的傳輸帶寬。傳輸塊的大小為64KB。帶寬的計算是通過(guò)計算傳輸總的字節數除以傳輸所用的時(shí)間獲得。

上述數據展示了cache 能夠極大的改善DSP 內核通過(guò)HyperLink 讀取數據的性能。

但是L2 cache 卻遏制了通過(guò)HyperLink 寫(xiě)數據的性能，這是因為L(cháng)2 是write-allocate cache。對于使能L2cache 后的寫(xiě)操作，它總是會(huì )先從將要寫(xiě)入的存儲區讀取128 字節的數據到L2cache ，然后在L2 cache 中修改數據，最后在cache 沖突的時(shí)候回寫(xiě)回到原先的存儲區，或者人為的回寫(xiě)回原存儲區。

上述EDMA 吞吐率數據是通過(guò)TC0 (傳輸控制器0)和CC0(通道控制器0)上測試得到，其他TCs的數據會(huì )比TC0 稍低。整個(gè)傳輸的瓶頸是在HyperLink，不是在EDMA 傳輸控制器上。

上述測試結果表明通過(guò)HyperLink 進(jìn)行寫(xiě)操作的性能會(huì )比通過(guò)HyperLink 進(jìn)行讀操作的性能要好。

遠程DSP 存儲空間類(lèi)型不會(huì )對帶寬造成明顯的影響。訪(fǎng)問(wèn)遠程DSP 的SL2 會(huì )比LL2 快一些。

目前，通過(guò)HyperLink 來(lái)訪(fǎng)問(wèn)遠程DSP 存儲空間(相對其他接口)是具有最高的帶寬性能的，但是訪(fǎng)問(wèn)遠程存儲空間比訪(fǎng)問(wèn)本地存儲空間還是要慢。下表對比了訪(fǎng)問(wèn)本地LL2 和DDR 與遠程DDR 的吞吐性能。

大體來(lái)說(shuō)，對本地存儲空間的寫(xiě)入吞吐率是對遠程空間進(jìn)行寫(xiě)入操作的吞吐率的3 倍。對遠程空間的讀性能會(huì )更差些。我們應該盡量避免遠程讀取數據。

3.2 DSP core 通過(guò)HyperLink 進(jìn)行遠程訪(fǎng)問(wèn)的延遲

DSP 核通過(guò)HyperLink 訪(fǎng)問(wèn)遠程空間的性能高度依賴(lài)于cache。當DSP 內核通過(guò)HyperLink 來(lái)訪(fǎng)問(wèn)遠程存儲空間的時(shí)候，一個(gè)TR(傳輸請求)可能會(huì )被生成并傳送給XMC(這取決于數據是否可以進(jìn)入cache 和被預取)。TR 將會(huì )是下面中的一種。

. 一個(gè)單一的元素- 如果存儲空間不能被cache 和預存取。

. 一個(gè)L1 cache line – 如果存儲空間可以進(jìn)入cache ，但是L2 cache 沒(méi)有被使能。

. 一個(gè)L2 cache line -如果存儲空間可以進(jìn)入cache，同時(shí)L2 cache 被使能.

. 如果存儲空間可以被預存取, 預存取將會(huì )被使能為一個(gè)預存取的buffer slot.

如果L1/L2cache 或者預存取命中，Hyperlink 端口不會(huì )有數據傳輸

遠程空間數據可以被本地L1 cache/L2 cache 緩存，或者都沒(méi)有被cache。如果對應存儲空間的MAR(Memory Attribute Register) 寄存器上的PC(Permit copy)位沒(méi)有被置位，那么對應存儲區的數據將不會(huì )進(jìn)入cache。

如果MAR 寄存器上PC 位被置位，同時(shí)L2 的cache 空間是0(L2 被全部配置成SRAM)，那么外部存儲空間的數據可以進(jìn)入L1cache。

如果MAR 寄存器上PC 位被置位，L2 的Cache 空間大于0.那么外部存儲空間的數據就可以進(jìn)入L1cache 和L2cache。

讀取遠程存儲空間數據也可以使用XMC 中的prefetch buffer。該特性可以在MAR 寄存器PFX(PreFetchable eXternally)被置位后使能。

地址步進(jìn)長(cháng)度也會(huì )影響Cache 和Prefetch buffer 的使用效果。連續空間的訪(fǎng)問(wèn)可以最充分的利用cache 和prefetch buffer，從而達到更好的性能。

以64bytes 距離或者更大間隔進(jìn)行步進(jìn)訪(fǎng)問(wèn)將會(huì )導致每次L1 cache 命中失敗(miss)，這是因為L(cháng)1 cache line 的大小是64byte。

以128bytes 距離或者更大間隔進(jìn)行步進(jìn)訪(fǎng)問(wèn)將會(huì )導致每次L2 cache 命中失敗(miss)。

如果cache miss 發(fā)生，那么DSP 核就會(huì )被stall(等待數據)。Stall 的時(shí)間長(cháng)度等于傳輸延遲、傳輸間隔，數據返回時(shí)間，cache 請求延遲的總和。

下面的章節描述DSP 內核通過(guò)HyperLink 訪(fǎng)問(wèn)存儲區的延遲。測試偽代碼如下列所示。

下圖(圖4)為1GHz C6670EVM 上配置DDR 64bit 1333M 測試獲得的結果。通過(guò)HyperLink 實(shí)現512 次LDDW(load double word) 或者STDW( store double word)操作的性能測試。圖4 繪制了各種測試條件下的性能。LDB/STB 和LDW/STW 和LDDW/STDW 的指令周期數相同。雖然cache 和prefetch buffer 可以被獨立配置，但是測試的時(shí)候使用的配置是：如果cache 被使能，那么prefetch 也被使能，如果cache 沒(méi)有被使能，那么prefetch 也沒(méi)有被使能。

Non-cachable 寫(xiě)是post 操作。所以它只會(huì )stall DSP core 很短的一段時(shí)間。

但是read 是non-post 的，所以DSP 內核會(huì )等待數據的到來(lái)，所以它會(huì )stall DSP 內核相對長(cháng)一點(diǎn)時(shí)間。

當cache 被使能后，DSP core 訪(fǎng)問(wèn)remote 空間的吞吐性能高度依賴(lài)于cache。

地址的步進(jìn)間隔也會(huì )影響到cache 的使用。連續的地址訪(fǎng)問(wèn)可以充分的利用cache。但是地址的步進(jìn)間隔超過(guò)case line 的大小(L1 case line =64Byte,L2 Case line =128Byte)將會(huì )導致每次cache 都無(wú)法命中，從而制約了性能。所以，對連續地址空間的數據訪(fǎng)問(wèn)(像大塊數據拷貝)，cache 需要被使能，在其他情況下cache 應當不要使能。

通過(guò)上面的圖可以發(fā)現通過(guò)HyperLink 訪(fǎng)問(wèn)DDR，SL2，LL2 在性能上并沒(méi)有明顯的差異。所以，正常情況下，通過(guò)HyperLink 來(lái)共享DDR 是一個(gè)很好的選擇，因為DDR 容量大，而且成本低。

3.3 HyperLink 傳輸使用DMA 方式的開(kāi)銷(xiāo)(overhead)

初始延遲被定義為EMDA 事件觸發(fā)到真實(shí)數據之間的傳輸開(kāi)始之間的延遲。因為初始延遲很難被測量。所以我們就測試傳輸的開(kāi)銷(xiāo)，它被定義為傳輸最小單元數據的延遲。延遲的大小取決于源和目標端的類(lèi)型。下表描述了使用EDMA 在1GHz TCI6618EVM 不同端口間傳輸一個(gè)字(word)時(shí)，從EDMA 觸發(fā)(寫(xiě)ESR)到EDMA 傳輸結束(讀IPR=1)的平均指令數目。

表6 中，讀Hyperlink 的延遲是853 個(gè)指令周期，寫(xiě)Hyperlink 的延遲是322 指令周期，因為寫(xiě)是post 操作，而讀是non-post 操作。所以從HyperLink 端口讀取數據的延遲要高于寫(xiě)入數據到HyperLink。

對于小批量數據傳送，傳輸開(kāi)銷(xiāo)(overhead)是很大的顧慮，尤其是系統中隊列DMA 阻塞的時(shí)候。單一元素的傳送性能較差，延遲會(huì )占用大部分時(shí)間。所以，對于小批量數據傳送，必須對使用EMDA 方式還是DSP 核方式來(lái)訪(fǎng)問(wèn)數據進(jìn)行權衡。使用內核來(lái)訪(fǎng)問(wèn)單個(gè)隨機數據的延遲會(huì )比DMA 方式延遲小很多。本文3.2 節已經(jīng)做了詳細的描述。

3.4 HyperLink 中斷延遲

一個(gè)DSP 可以通過(guò)HyperLink 來(lái)觸發(fā)另外一個(gè)DSP 的中斷。通過(guò)HyperLink 傳遞中斷的延遲通過(guò)下列的偽代碼獲得測量。

測試是在Loopback 模式下測試。

1GHz C6670 的測試結果是大概710 個(gè)DSP core cycles。

4、范例工程

本文的范例代碼在C6670EVM 上通過(guò)測試。EVM 板子上有兩個(gè)C6670 DSP，他們通過(guò)HyperLink 互聯(lián)。

在這個(gè)例子中，DSP1 存儲空間通過(guò)HyperLink 被映射到了DSP0 上。DSP0 通過(guò)HyperLink 窗口訪(fǎng)問(wèn)DSP1 的存儲空間就像訪(fǎng)問(wèn)自己的本地空間一樣。這個(gè)工程范例也支持loopback 模式。在loopback 模式下，DSP0 事實(shí)上是通過(guò)自己的HyperLink 窗口訪(fǎng)問(wèn)了自己的本地地址空間。

本例也演示了通過(guò)HyperLink 來(lái)實(shí)現中斷傳遞。

工程代碼的目錄結構如下圖所示。

圖 7 工程代碼目錄樹(shù)

該示例代碼同樣可以在其他KeyStone DSP EVM 板上運行。只是如果板子上只有一個(gè)DSP 芯片，那么只能運行loopback 模式。

下表列出了KeyStone 工程的關(guān)鍵代碼列表。

運行這個(gè)范例工程的步驟：

1. 連通CCS 與DSP EVM.

2. 下載代碼到core 0 of DSP0.

3. 下載代碼到core 0 of DSP1.

4. 先運行DSP1 , 然后運行DSP0. (如果EVM 上只有一個(gè)DSP,且運行在loopback 模式下，那么直接下載到DSP0，再運行)

5. 檢測每個(gè)DSP 的stdout 窗口，驗證測試結果。

典型的輸出信息如下:

用戶(hù)可以在HyperLink_Test.c 中的HyperLink_config()函數中修改初始化值，然后重新編譯來(lái)驗證在不同配置下的HyperLink 性能。

這個(gè)例子是在CCS5.1 下編譯，使用pdk_c6618_1_0_0_5。如果在你的電腦上進(jìn)行重新編譯新的配置，你可能需要修改csl 包含路徑。

參考資料

1. KeyStone Architecture HyperLink User Guide (SPRUGW8)

2. TMS320C6670 datasheet (SPRS689)