LIFO或FIFO：測量數據中心以太網(wǎng)時(shí)延方法探討

時(shí)延是數據中心以太網(wǎng)的一個(gè)關(guān)鍵性能指標。這是因為在高頻率金融交易(HFT)、高性能計算(HPC)和類(lèi)似的性能敏感型環(huán)境中，超低時(shí)延10GbE交換功能是處理巨大網(wǎng)絡(luò )流量的關(guān)鍵，這常常意味著(zhù)每天上百萬(wàn)次的交易。電子交易中價(jià)格和交易數據速率的不斷攀升以及保持競爭力的需求推動(dòng)著(zhù)金融市場(chǎng)股東們投資最新技術(shù)，以便支持螺旋式上升的帶寬要求，并降低數據流時(shí)延。

因此，現在時(shí)延測量已經(jīng)成為數據中心以太網(wǎng)交換機供應商測試報告的一個(gè)重要部分。在評估這些系統所用的交換IC時(shí)，設計師需要明白時(shí)延測量方法有好多種，采用不正確的方法可能是一種錯誤，因為有些方法并不能測出真實(shí)性能。

近來(lái)在測試中使用的其中一些測量方法使得LAN交換芯片供應商聲稱(chēng)具有超低時(shí)延。這是怎么做到的呢？使用末位進(jìn)、首位出(LIFO)方法，存儲轉發(fā)交換機確實(shí)可以報告亞微秒的時(shí)延。然而，這不符合RFC1242，該文檔建議優(yōu)先采用首位進(jìn)到首位出(FIFO)方法：“理想情況下所有設備的測量都應從幀前導位之后的第一個(gè)實(shí)際位開(kāi)始?！边@種方法能夠更精確地測量數據包穿透交換機時(shí)遇到的任何存儲或處理時(shí)間。

交換機架構和時(shí)延

2006年推出的第一臺低時(shí)延10GbE交換機使用直通工作模式取得了十分優(yōu)異的時(shí)延性能，這種模式下交換機可以在幀被完整接收之前就開(kāi)始發(fā)送。而存儲轉發(fā)交換機不能取得低時(shí)延，這是因為數據包在從出口發(fā)送出去之前必須完全存儲在內存中。但并不是所有直通交換機都有相同的時(shí)延性能，因為它們采用的交換架構有很大的區別。

存儲器存取帶寬一直是交換芯片架構師心頭的痛。在使用傳統的交叉開(kāi)關(guān)矩陣和內存設計時(shí)，將沒(méi)有足夠的片上帶寬允許每個(gè)輸入端口同時(shí)寫(xiě)入相同的輸出隊列。為了解決這種阻塞問(wèn)題，芯片架構可以在每個(gè)交換輸入端使用虛擬輸出隊列，即所謂的組合式輸入/輸出隊列(CIQQ)架構(圖1)。

圖1 組合式輸入/輸出隊列(CIQQ)架構

虛擬輸出隊列可以在每個(gè)輸入端口為每個(gè)交換輸出端口(出口)提供一個(gè)隊列。如果某個(gè)特定的出口隊列臨時(shí)受阻，那么與之對應的入口隊列將實(shí)行流控，而以其它出口為目的地的數據包可以避過(guò)這個(gè)受阻隊列，將數據發(fā)送給其它無(wú)阻塞的出口。然而，對于一個(gè)N端口交換機而言，這意味著(zhù)N*N輸入隊列和關(guān)聯(lián)調度器，從而增加了很大的復雜性。同時(shí)還會(huì )增加數據包時(shí)延，因為每個(gè)數據包通過(guò)交換機時(shí)必須排隊兩次。鑒于VOQ和關(guān)聯(lián)調度器的復雜性，許多交換機設計通過(guò)一定程度的內部阻塞來(lái)降低復雜性，這將進(jìn)一步增加時(shí)延。

新的共享式內存交換技術(shù)第一次通過(guò)SRAM IP實(shí)現性能提升，使交換機能夠支持具有特別低時(shí)延、完全無(wú)阻塞輸出排隊、共享的內存架構，見(jiàn)圖2。通過(guò)使用專(zhuān)有的高帶寬內存結構，交換架構可以做得更簡(jiǎn)單，進(jìn)而消除入口VoQ的復雜性和所需的額外內存。另外，組播數據包只需存儲一次，從而進(jìn)一步降低了對片上內存的要求。由于只有一次內存入隊/出隊和非常低的內部阻塞，因此這種技術(shù)可以提供最低的時(shí)延。

圖2 具有特別低時(shí)延的輸出排隊、共享內存架構

時(shí)延測量方法

測量通過(guò)交換機的時(shí)延有多種方法：首位進(jìn)到末位出(FILO)、末位進(jìn)到首位出(LIFO)、首位進(jìn)到首位出(FIFO)和末位進(jìn)到末位出(LILO)。每種方法的時(shí)延測量都是在交換機入口和出口進(jìn)行的。

這種方法測量的是交換機的時(shí)延加上數據包從出口發(fā)送出來(lái)的時(shí)間。雖然這種方法對于服務(wù)器群集中的應用到應用時(shí)延等的測量足夠了，但不是一種非常好的交換機時(shí)延測量方法。為了更好地表明這個(gè)觀(guān)點(diǎn)，可以想像一個(gè)電氣連接器。FILO方法意味著(zhù)連接器具有與數據包大小相關(guān)的時(shí)延，但事實(shí)上連接器具有零時(shí)延。

大數據包會(huì )給這些測量結果增加較大的時(shí)延，使得提取實(shí)際交換機時(shí)延變得更加困難。最后，考慮兩個(gè)串聯(lián)的直通交換機。當使用FILO方法時(shí)，通過(guò)兩個(gè)交換機的時(shí)延不能通過(guò)累加單個(gè)交換機的測量時(shí)延計算得到。鑒于這些因素，這種方法并不是測量交換機時(shí)延的正確方法。

LIFO方法在20世紀80年代晚期和90年代早期用于測量傳輸單元大小固定的電信網(wǎng)絡(luò )中的時(shí)延。一些測試報告仍參考1991年發(fā)表的RFC 1242，這個(gè)時(shí)間比直通交換技術(shù)的發(fā)明早很多。對于只提供存儲和轉發(fā)交換機的供應商來(lái)說(shuō)，這種測量方法可以使結果看起來(lái)更好，因為這種方法不考慮數據包在轉發(fā)之前被完整存儲在交換機中的時(shí)間。從圖3可以看出，直通交換機的時(shí)延不能用這種方法精確測量。

圖3 使用FIFO和LIFO方法的測量結果

這兩種方法從效果上看是相同的，是正確測量通過(guò)直通交換機的時(shí)延的唯一方法。為了說(shuō)明這些方法的工作原理以及與LIFO測試的區別，讓我們對最近使用Fulcrum“Monaco”10GE交換機做的現場(chǎng)測試結果做一下評估。

FIFO與LIFO實(shí)際測試結果

Monaco參考平臺例子包含有一個(gè)交換芯片，在1U外形尺寸內提供24個(gè)SFP+端口。這個(gè)平臺中的時(shí)延包含了通過(guò)交換機的時(shí)延和通過(guò)SFP+ PHY的時(shí)延。這張圖顯示了交換機工作在直通模式時(shí)使用FIFO和LIFO方法的時(shí)延測量結果。

從圖中可以看到，FIFO結果表明了交換機的實(shí)際直通時(shí)延，而LIFO數值是人工減去了完整接收一個(gè)幀所需的時(shí)間。對10GbE鏈路來(lái)說(shuō)，這兩種測量方法之間的關(guān)系可以用以下等式描述：

LIFO時(shí)延＝FIFO時(shí)延－（幀長(cháng)度+20）*0.8nS

由于LIFO測量方法可能導致像Monaco這樣的直通交換機出現負時(shí)延，因此測試儀器將這種情況報告為“零”時(shí)延。這意味著(zhù)在較大數據包情況下比較直通交換機將是無(wú)意義的，因為它們都顯示為零時(shí)延。

結論

在為數據中心選擇網(wǎng)絡(luò )設備時(shí)時(shí)延是一個(gè)關(guān)鍵參數。網(wǎng)絡(luò )設計師可能使用測試報告比較不同供應商的交換機，但必須仔細檢查這些報告，因為測試時(shí)延有多種方法，而只有比較使用相同的方法測量競爭性芯片得到的時(shí)延才有意義。直通交換機可以為數據中心提供最低時(shí)延的網(wǎng)絡(luò )解決方案。本文明確了測量直通交換機時(shí)延的唯一正確方法是首位進(jìn)至首位出(FIFO)方法。