數據中心網(wǎng)絡(luò )架構的HA測試

高可用性需求是數據中心最重要的需求之一，由于數據中心承載著(zhù)網(wǎng)絡(luò )中的重要業(yè)務(wù)數據，所以業(yè)務(wù)的高可用性（即業(yè)務(wù)的連續性）受到極大關(guān)注。不同等級的數據中心對網(wǎng)絡(luò )的高可用性有著(zhù)不同的要求，但設備和鏈路的冗余設計是最基本最普遍的要求，而區別主要在于網(wǎng)絡(luò )故障對業(yè)務(wù)恢復的快慢影響。對數據中心而言，高可用性涉及到網(wǎng)絡(luò )、服務(wù)器、存儲、電力、制冷等多個(gè)方面的因素，本文主要闡述數據中心網(wǎng)絡(luò )架構的高可用需求以及典型測試案例。

　　1 數據中心HA設計需求

　　1.1 數據中心HA設計的重要性

　　網(wǎng)絡(luò )中節點(diǎn)和鏈路的故障總是無(wú)法完全避免的，所以提升網(wǎng)絡(luò )可用性的重要方法之一是整體架構的冗余設計，通過(guò)設備或鏈路失效時(shí)的備份接管，盡量減少系統的故障恢復時(shí)間。

　　表1是不同等級的可用性與總故障時(shí)間（以一年為時(shí)間段）的對應關(guān)系表：

表1 不同等級可用性與一年內的總故障時(shí)間的對應關(guān)系

　　為什么數據中心網(wǎng)絡(luò )的可靠性如此重要呢？簡(jiǎn)單來(lái)說(shuō)，有以下幾個(gè)方面原因：

　　1、業(yè)務(wù)的多樣性和高度集中性

　　無(wú)論是從機房規模、業(yè)務(wù)種類(lèi)，還是架構復雜性方面，今天的數據中心都在快速擴展。高性能服務(wù)器、虛擬化和高速以太網(wǎng)等新技術(shù)都著(zhù)眼于將多種流量類(lèi)型，如數據、存儲、視頻和語(yǔ)音等匯聚在單一的網(wǎng)絡(luò )架構中。業(yè)務(wù)的高度集中使得網(wǎng)絡(luò )故障的影響和損失擴大，從而也提高了對網(wǎng)絡(luò )可靠性的需求。

　　2、超大型數據中心對高可靠性的需求

　　超大型數據中心，尤其是一些重載型數據中心，其對網(wǎng)絡(luò )的利用率及鏈路帶寬的使用具有很高的比率。按一條60%利用率的10GE鏈路來(lái)看，即使中斷0.1秒也會(huì )丟失600M左右的數據。如果按照5個(gè)9的標準計算，一年累計中斷5.256分鐘即315.36秒，一條10GE鏈路將丟失大約1.892T的數據。越是關(guān)鍵的位置，網(wǎng)絡(luò )故障的影響將越加嚴重，固然對HA的能力要求越高。

　　3、高速鏈路帶來(lái)的丟包風(fēng)險

　　同樣重要的是，現在數據中心邊緣端口正變得越來(lái)越快。正如服務(wù)器中的千兆以太網(wǎng)接口推動(dòng)了交換機的萬(wàn)兆以太網(wǎng)的部署一樣，服務(wù)器萬(wàn)兆接口的普及也將推動(dòng)數據中心核心網(wǎng)對40GE和100GE以太網(wǎng)的迫切需求。帶寬的增長(cháng)自然會(huì )對核心網(wǎng)帶來(lái)更大的HA風(fēng)險。40GE或100GE的鏈路故障帶來(lái)的損失更加嚴重，如果鏈路承載了關(guān)鍵業(yè)務(wù)的重要數據，這樣的損失將是不可接受的。用戶(hù)對可用性的要求隨著(zhù)設備性能的提高，只會(huì )越來(lái)越苛刻。

　　4、云計算對基礎設施高可靠性需求的提高

　　目前云計算正逐漸成為一種現實(shí)，而且越來(lái)越多的私有云和公共云的部署使用都已經(jīng)充分證明了其存在的意義?；A設施即服務(wù)（IaaS）的吸引力也在不斷增加。有多種能力可以增強IaaS云的可用性，例如實(shí)時(shí)遷移、動(dòng)態(tài)資源調度和自動(dòng)重啟等。虛擬機的實(shí)時(shí)遷移產(chǎn)生了額外的網(wǎng)絡(luò )流量，這對于已經(jīng)處于高負荷狀態(tài)的網(wǎng)絡(luò )提出了額外的需求，所以實(shí)際的結果可能導致性能或可用性的進(jìn)一步惡化。網(wǎng)絡(luò )延時(shí)和丟包會(huì )導致虛擬機遷移的失敗，在實(shí)時(shí)遷移過(guò)程中測量虛擬機的停機時(shí)間，以及大規模虛擬機遷移的成功率等都是數據中心HA的新關(guān)注要點(diǎn)。

　　1.2 全局測試與數據中心HA

　　隨著(zhù)數據中心網(wǎng)絡(luò )的不斷變化和發(fā)展，一個(gè)關(guān)鍵的問(wèn)題是：怎樣才能盡可能的了解真實(shí)網(wǎng)絡(luò )的HA故障切換指標？這種情況下，全局性的測試方法有助于確保實(shí)現復雜的相關(guān)功能和多設備的組合運用。“全局測試”不僅可以測試單個(gè)數據中心組件，而且可以測量整個(gè)數據中心的能力，并產(chǎn)生有意義的結果。全局測試還可以涵蓋TCP/IP的所有層次，并且可以測量通過(guò)數據中心網(wǎng)絡(luò )任意路徑的流量。在一個(gè)數據中心環(huán)境中，全局的HA測試意味著(zhù)不僅是只對單個(gè)網(wǎng)絡(luò )組件的HA性能進(jìn)行測試，還要確保每一個(gè)組件與數據中心其它新舊組件配合起來(lái)協(xié)同運作的可靠性和整體的HA能力。

　　全局測試的特點(diǎn)是基于真實(shí)應用的流量模擬來(lái)衡量網(wǎng)絡(luò )的整體指標，通過(guò)對流量特征的構造模擬，精確統計網(wǎng)絡(luò )的功能、性能和HA各項指標?；跍y試結論分析評估網(wǎng)絡(luò )整體架構的合理性、擴展性等，為網(wǎng)絡(luò )優(yōu)化提供數據參考。通過(guò)采用全局性的整體方案驗證和性能測量方法，能夠使這種復雜系統的測試評估更加簡(jiǎn)化。

　　2 全局的HA測試方法

　　2.1 流量模擬

　　數據中心的業(yè)務(wù)流量主要分為服務(wù)器之間的內部流量和用戶(hù)端與服務(wù)器之間的外部流量，也稱(chēng)為“東西向”流量和“南北向”流量。對應RFC規范中定義的測試流量類(lèi)型則是“非網(wǎng)格型”和“部分網(wǎng)格型”,兩者的組合可以看作“全網(wǎng)格型”.由于轉發(fā)路徑和設備的處理方式不同，HA測試中需要同時(shí)關(guān)注這兩類(lèi)流量的故障恢復情況。如圖1所示。

圖1 數據中心流量模擬

2.2 故障事件模擬

　　通過(guò)模擬網(wǎng)絡(luò )失效來(lái)計算HA指標，可以簡(jiǎn)單的將失效歸類(lèi)為鏈路故障、板卡故障、設備故障、多設備故障和站點(diǎn)故障。這些故障事件發(fā)生的概率依次降低，所以HA測試的關(guān)注點(diǎn)主要集中在鏈路、板卡和設備故障上，這也是數據中心網(wǎng)絡(luò )HA設計的最基本要求。常用的操作方式為接口的Up/Down 、線(xiàn)卡的拔出/插入、機框的加電/斷電等，特殊情況下也可以通過(guò)測試儀或被測設備的系統軟件功能來(lái)模擬HA事件。

　　2.3 HA測試量化統計

　　通過(guò)HA測試，不僅可以驗證被測系統在某些異常情況下是否可以保證功能的可用性，同時(shí)也可以通過(guò)精確統計得到業(yè)務(wù)流量中斷的量化指標。通過(guò)測試儀器構造一定速率的數據報文經(jīng)過(guò)被測系統轉發(fā)，模擬某些故障情況下的報文丟失并統計出數量，從而計算出流量的中斷時(shí)間，來(lái)衡量被測系統的HA性能指標。計算公式如下：

　　故障失效恢復時(shí)間=（發(fā)包端口發(fā)包數-收包端口收包數）÷ 鏈路轉發(fā)速率

　　也可以通過(guò)L4-L7層測試儀模擬上層業(yè)務(wù)交互來(lái)更直觀(guān)的了解被測系統在各類(lèi)異常情況下對業(yè)務(wù)的影響。如圖2所示。

圖2 BPS測試儀顯示TCP新建連接抖動(dòng)情況

　　對于通過(guò)測試儀發(fā)起或參與的模擬網(wǎng)絡(luò )事件的測試項，還可以通過(guò)測試儀自身提供的高精度采樣功能來(lái)更加精確統計設備或網(wǎng)絡(luò )的性能。例如，在通過(guò)測試儀發(fā)送路由表項來(lái)測試設備的路由學(xué)習性能時(shí)，可以通過(guò)如圖3所示的高精度采樣功能來(lái)統計時(shí)間。

　　圖3 TestCenter測試儀顯示的高精度采樣功能