設備軟件可靠性測試

檢驗設備軟件在各種條件下可實(shí)現持續運行狀態(tài)，以及評估設備從故障中恢復正常服務(wù)所需要的時(shí)間和其他影響，就是軟件可靠性測試主要涉及的課題。

設備為達到連續可運行目標，除了在硬件設計中考慮器件可連續無(wú)故障運行外，很重要的方面是軟件在各種條件下可經(jīng)受考驗，持續工作。這需要在實(shí)現基本功能前提下，在軟件中設計一系列容錯性邏輯去保證。

為全面評估軟件容錯性和故障恢復能力，測試需要制造或模擬一系列條件，包括內部硬件故障條件、外部惡意攻擊條件、偶發(fā)過(guò)載條件、軟件資源耗盡條件、周邊環(huán)境故障條件以及長(cháng)時(shí)間正常負荷持續運行模擬。為了在產(chǎn)品開(kāi)發(fā)的不同階段組織針對性測試，這些測試行為又被明確定義并歸類(lèi)。

測試分類(lèi)

1、協(xié)議健壯性測試

協(xié)議健壯性測試是為了找出特定協(xié)議的具體實(shí)現代碼的弱點(diǎn)。是一種以破壞性手段去嘗試運行軟件的行為，通過(guò)用戶(hù)接口的異常輸入，使用異常協(xié)議消息交互引導軟件進(jìn)入未定義或未保護的狀態(tài)。

對軟件系統而言，合法輸入組合以外的輸入往往超出正常輸入的組合，軟件運行中總會(huì )遇到一些預期之外的輸入。因此，軟件需要有嚴格的合法性檢查才能避免進(jìn)入未知狀態(tài)。協(xié)議健壯行測試的目標就是盡可能找出軟件保護不周的問(wèn)題。

在軟件測試的早期階段進(jìn)行的參數邊界值測試就屬于健壯性測試的一部分。比如一個(gè)用戶(hù)接口接受1-100的整數輸入，那么1和100就是合法邊界，大于100和小于1的輸入都是非法輸入。其他非整數型的輸入也屬于非法值，包括故意破壞檢查輸入條件的代碼的一些組合（如超長(cháng)輸入值，空輸入，格式化字符等）。軟件面對的接口除了最終用戶(hù)可見(jiàn)的部分之外，還有大量的軟件組件之間的不可見(jiàn)部分，以及設備之間的通信協(xié)議接口。

除了單一輸入的簡(jiǎn)單合法性判斷，軟件在組合輸入和特定狀態(tài)下可接受輸入的定義更為復雜。為確認軟件在各種條件下的運行正常，測試需要嘗試盡可能多的組合。復雜的通信協(xié)議除了定義有邏輯化結構的報文格式，還有一系列的內部狀態(tài)，要測試人員完全手工方式遍歷這些狀態(tài)，并且構造所有可能的異常組合輸入條件是無(wú)法想象的，因此需要專(zhuān)用的測試工具和儀器專(zhuān)門(mén)檢測軟件對各種協(xié)議變異報文的處理。目前，商用化的測試工具已經(jīng)很多，比如IxDefend協(xié)議健壯性測試套件和Mu Dynamics的fuzzing測試套件是比較強大的。為了達成在特定狀態(tài)下注入錯誤，測試套件需要先完成一些合法的交互過(guò)程，使被測目標達到預設狀態(tài)，然后再注入異常。復雜的協(xié)議需要事先配置很多參數去達成這種交互，而變異輸入的變化和組合數量非常龐大，一個(gè)復雜協(xié)議經(jīng)常達到幾十萬(wàn)甚至上百萬(wàn)的測試用例，盡管有自動(dòng)化測試工具，這種測試運行也要耗費大量的時(shí)間。因此，對參數的調整是測試需要關(guān)注的一個(gè)重要方面。

從系統測試的角度，觀(guān)測協(xié)議健壯性的測試結果是比較困難的，一般是從系統外部觀(guān)察整機是否存在異常，正在被測試的協(xié)議功能有沒(méi)有停止響應，正常用戶(hù)請求是否得到及時(shí)處理，設備的性能有沒(méi)有下降。最容易被觀(guān)測到現象是系統死鎖或重啟，系統性能變化或主要功能異常也能被及時(shí)發(fā)現。而一些細微的功能異?；蛸Y源耗費，很容易被測試人員忽視，在這里，測試工具也無(wú)能為力。

以IxDefend測試TLS-Server舉例。

完成測試儀器與被測試設備的物理連接，并且將端口配置IP地址，開(kāi)啟TLS-Server服務(wù)。

通過(guò)測試儀器的GUI控制界面裝入TLS Server測試套件，如圖1所示。

配置TLS Server測試所需要的參數，包括被測試設備IP、TLS服務(wù)端口、超時(shí)時(shí)間等，如圖2所示。

點(diǎn)擊開(kāi)始按鈕啟動(dòng)測試運行。

測試運行期間，儀器會(huì )發(fā)送事先定義好的各種異常組合，并檢查設備對這些報文的響應。一旦被測試設備失去任何響應，就記錄為一次失敗，并持續嘗試下面的測試用例。如圖3所示的是一個(gè)真實(shí)的運行記錄，設備在某項測試運行后發(fā)生異常，該項目被標記為紅色。測試人員可以根據該記錄重現問(wèn)題，并將設備異常信息一并提交給開(kāi)發(fā)定位具體原因。

圖1 IxDefend選擇測試套件

圖2 IxDefend配置TLS-Server套件運行參數

圖3 IxDefend運行結果統計

2、硬件故障模擬測試

通常，判斷軟件行為是否正常的先決條件之一是其是否運行在正確的硬件環(huán)境之下，因為硬件故障對軟件產(chǎn)生的影響往往是致命的和不可預測的。在實(shí)際情況中，越是造價(jià)昂貴且承擔重要任務(wù)的硬件系統，其硬件的復雜度越高，故障率也更高。為了提高系統的可靠性，硬件在設計上會(huì )使用冗余器件的方式（比如多個(gè)電源、多個(gè)風(fēng)扇、多個(gè)交換網(wǎng)板、多個(gè)主控板），但在很多情況下，硬件替換做不到對軟件透明，需要依賴(lài)軟件檢測并采取一系列措施。此外，軟件還需要設計足夠的容錯性去隔離硬件錯誤的影響范圍。在非關(guān)鍵器件停止工作之前，軟件需要盡可能保證系統其它功能不受影響。

對測試人員而言，了解軟件對硬件的依賴(lài)，通過(guò)制造或模擬硬件器件故障檢驗軟件行為的合理性，是可靠性測試的一個(gè)重要環(huán)節。硬件故障測試的目標就是觀(guān)測和評估軟件在硬件失效時(shí)的反映，找出預期與實(shí)際結果之間的差距。在測試有備份硬件系統的產(chǎn)品時(shí)，測試人員往往使用硬件拔出槽位，命令重啟等方式驗證備份機制的有效性。然而，這還遠遠不夠。設備在實(shí)際運行條件下器件被拔出只是一種維護行為，很多情況下是在連續運行過(guò)程中，器件突然失效。測試人員需要驗證這些情況，以確認軟件設計的故障檢測機制和容錯機制的真實(shí)有效性。

由于硬件系統的具體情況不同，每個(gè)器件的故障形式和直接影響不同，是否有規避方案需要具體分析。軟件對硬件可用性的依存度往往很高，因此硬件故障測試的結果經(jīng)常具有很大的爭議性。對測試結果的分析和判斷比測試設計和執行更為重要。