測試工具和測試自動(dòng)化

人類(lèi)的進(jìn)化史和發(fā)展史，就是一個(gè)不斷創(chuàng )造和使用工具的歷史。工具是人類(lèi)想象力的物理呈現，也是社會(huì )進(jìn)步的巨大助力。對于測試而言，工具同樣不可或缺，甚至于如果想判斷某個(gè)廠(chǎng)商的測試水平是處于“蠻荒時(shí)代”還是已經(jīng)進(jìn)化到了“現代社會(huì )”，觀(guān)察其使用的測試工具就能知道個(gè)大概。事實(shí)上，很多測試項目，尤其是性能和穩定性測試項目，必須借助測試工具才能完成；驗證業(yè)務(wù)的大規模部署能力，沒(méi)有工具的支撐更是不可想象。舉個(gè)簡(jiǎn)單例子，對一個(gè)可以同時(shí)接入4000個(gè)PPPoE的設備進(jìn)行測試，如果沒(méi)有測試工具，就只能搭建一個(gè)4000個(gè)客戶(hù)端的環(huán)境，這在實(shí)踐中幾乎不可實(shí)施，更何況類(lèi)似測試項目會(huì )很多，而且每個(gè)版本都需要重復測試。

一、測試工具

伴隨著(zhù)網(wǎng)絡(luò )技術(shù)的爆發(fā)式發(fā)展，種類(lèi)繁多的測試工具也被開(kāi)發(fā)出來(lái)，根據其主要功能，大致可以分為下面幾類(lèi)*（*注：現在的測試工具都比較復雜，不一定能完全嚴格分類(lèi)，比如Chariot和Avalanche都能提供強大的流量產(chǎn)生功能，又是很好的業(yè)務(wù)模擬工具）。

流量發(fā)生工具：主要用于生成大規模網(wǎng)絡(luò )流量，測試設備的轉發(fā)平面功能。這類(lèi)工具有的是直接安裝在主機上的軟件，如Chariot；也有的是專(zhuān)用硬件，比如Spirent和IXIA等專(zhuān)業(yè)廠(chǎng)商提供的測試儀器；

協(xié)議仿真工具：主要對信令協(xié)議進(jìn)行仿真，測試設備的控制平面功能。比如路由協(xié)議仿真，MPLS相關(guān)協(xié)議仿真，認證接入協(xié)議仿真等測試工具；

業(yè)務(wù)模擬工具：主要是對應用層協(xié)議和客戶(hù)業(yè)務(wù)進(jìn)行模擬，測試設備的應用和業(yè)務(wù)承載能力。一般的L4-L7的測試儀器和工具都提供了強大的業(yè)務(wù)模擬能力，比如Avalanche，BPS等測試儀器和Chariot軟件；

攻擊類(lèi)工具：包括黑客工具、Fuzzing和Vulnerability類(lèi)測試工具，測試設備的安全性和攻擊防范能力。典型的有Mu Dynamics、Codenomicon、BIFFIT、SAINT、NESSUS、nMAP以及SYN flood等DDOS工具；

平臺類(lèi)工具：一般提供的是一個(gè)二次開(kāi)發(fā)平臺，有完善的集成開(kāi)發(fā)環(huán)境，支持多種適合用于測試的高級計算機語(yǔ)言（如Perl、TCL、Python等），可進(jìn)行復雜的二次開(kāi)發(fā)，集成了為適應測試而封裝和抽象的Lib庫，甚至提供一些已經(jīng)經(jīng)過(guò)實(shí)踐檢驗的自動(dòng)化測試套件，并且可以通過(guò)外部接口調用其它測試儀器和工具。類(lèi)似微軟的Visual Studio開(kāi)發(fā)環(huán)境，只不過(guò)它是為開(kāi)發(fā)服務(wù)，前者是為測試服務(wù)。平臺類(lèi)工具投入巨大，主要為了滿(mǎn)足廠(chǎng)商建設自己獨特的測試能力體系的需要，一般由廠(chǎng)商自行開(kāi)發(fā)與維護。H3C構建了這類(lèi)平臺，稱(chēng)為通用測試平臺（VTP，Versatile Test Platform）。

一般來(lái)說(shuō)，對于成熟的協(xié)議或應用測試，都有優(yōu)秀的商業(yè)測試儀器和測試工具，可以滿(mǎn)足80%以上的測試需求。但對于最新的協(xié)議和應用，或者特定客戶(hù)的非標準定制需求，就要求廠(chǎng)商具備一定的測試工具自主開(kāi)發(fā)能力。以H3C為例，在802.1x協(xié)議剛開(kāi)始在國內應用時(shí)，在大量用戶(hù)同時(shí)接入設備的條件下，設備會(huì )較大概率出現軟件崩潰。于是，測試團隊自行開(kāi)發(fā)出一個(gè)模擬大量802.1x用戶(hù)接入的工具，最終很快就發(fā)現并解決了問(wèn)題，而具備類(lèi)似功能的商業(yè)802.1x測試工具，大約時(shí)隔兩年后才在市場(chǎng)上出現。

H3C對于測試儀器和測試工具在優(yōu)化測試效率、提高測試水平、提升產(chǎn)品質(zhì)量方面的重要性深有體會(huì )。在這方面的投入很大。一方面，大量采購了業(yè)界先進(jìn)的商業(yè)測試儀器和工具，如Spirent、IXIA、BPS和Veriwave等公司的測試儀器和測試軟件。另一方面，通過(guò)專(zhuān)門(mén)的測試平臺團隊也獨立開(kāi)發(fā)了眾多的測試工具和軟件，為商業(yè)測試軟件覆蓋不到的測試需求提供支持，確保H3C能以最快的速度推出最新特性。該團隊開(kāi)發(fā)的測試工具目前已經(jīng)形成系列并成為測試工程師的重要助力，如多客戶(hù)端模擬系列工具，路由協(xié)議系列測試工具，一致性系列測試工具，綜合業(yè)務(wù)模擬系列工具等。該團隊開(kāi)發(fā)的通用測試平臺則構建了一個(gè)公司級的自動(dòng)化測試框架，提供了完善的GUI，CLI自動(dòng)化測試解決方案，為H3C的全系列產(chǎn)品測試提供服務(wù)。

二、測試自動(dòng)化

測試工具和測試自動(dòng)化，兩者是一對孿生兄弟。測試工具的目的就是為了代替部分繁瑣的手工測試操作，或完成手工測試不可能完成的測試活動(dòng)，實(shí)現一定程度的測試自動(dòng)化。測試自動(dòng)化的發(fā)展進(jìn)化和測試工具的進(jìn)步密不可分，隨著(zhù)測試工具的進(jìn)步和完善，很大一部分測試工作已經(jīng)可以做到無(wú)人值守，實(shí)現完全意義上的自動(dòng)化?；仡欁詣?dòng)化測試技術(shù)的發(fā)展歷史，大致可以分為三代。