終端業(yè)務(wù)測試及評估系統

關(guān)鍵字： 3G 移動(dòng) 互聯(lián)網(wǎng)

隨著(zhù)3G誘發(fā)的移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來(lái)，移動(dòng)終端將深入社會(huì )生活的方方面面。在這種時(shí)代背景下形形色色的手機軟件瘋狂問(wèn)世，每個(gè)程序都期望成為QQ/Fetion。軟件所有者為了搶占廣闊的市場(chǎng)，在更短的時(shí)間內提供更為優(yōu)質(zhì)的手機軟件產(chǎn)品，因而在這種形勢下?lián)碛懈咝?、便捷、快速等特點(diǎn)的自動(dòng)化測試將成為軟件測試中不可缺少的重要部分。

1 引言

近年來(lái)，隨著(zhù)國內IT行業(yè)的迅猛發(fā)展與日益規范，手機軟件產(chǎn)品的質(zhì)量越來(lái)越成為企業(yè)競爭制勝的關(guān)鍵，企業(yè)領(lǐng)導者亦日趨理性并愈發(fā)重視軟件產(chǎn)品的質(zhì)量。在市場(chǎng)格局變化的今天，各運營(yíng)商亦紛紛推出自己獨特的定制終端和定制業(yè)務(wù)，為了捍衛自主品牌保證產(chǎn)品質(zhì)量，幾乎每個(gè)運營(yíng)商的產(chǎn)品在發(fā)布前都需要進(jìn)行大量的質(zhì)量控制、回歸測試和壓力測試工作，然而這些工作必須投入大量的資金依靠具備嫻熟技能的專(zhuān)業(yè)測試人才來(lái)完成。那么是否有這樣一種革新的自動(dòng)化測試工具，它不但能夠降低測試難度、降低測試成本、縮短測試周期，而且能夠達到測試的預期效果呢？

2 手機軟件手工測試的缺陷

據統計資料表明，測試的工作量約占整個(gè)項目開(kāi)發(fā)工作量的40%左右，測試的工作量往往是其他階段的3～5倍。

就目前國內的軟件開(kāi)發(fā)行業(yè)來(lái)看，幾乎所有的測試還是來(lái)自最原始的手工測試，對于自動(dòng)化測試的應用還不普及。手工測試，顧名思義就是需要由人來(lái)動(dòng)手進(jìn)行測試。測試人員需要手腦并用，充分發(fā)揮聰明才智，才能設計出那些可以導致軟件失效或是符合軟件設計效果的真實(shí)場(chǎng)景。由測試人員來(lái)進(jìn)行手工測試，可以最大程度地發(fā)揮人的主觀(guān)能動(dòng)積極性，設計出真實(shí)的用戶(hù)情況，在真實(shí)的用戶(hù)環(huán)境中使用真實(shí)的用戶(hù)數據，同時(shí)可以識別出顯而易見(jiàn)的缺陷和難以察覺(jué)的缺陷。但以往的經(jīng)驗告訴我們，單獨的手工測試無(wú)法保證軟件的質(zhì)量，因為手工測試存在效率低，人力、時(shí)間投入大，壓力測試難以進(jìn)行，隱形問(wèn)題難以發(fā)現的缺點(diǎn)，在這種背景下應運而生了自動(dòng)測試。

3 Pilot AutoTest系列介紹

隨著(zhù)移動(dòng)業(yè)務(wù)突飛猛進(jìn)地發(fā)展，傳統的手工測試已經(jīng)難以滿(mǎn)足業(yè)務(wù)增長(cháng)的需要，在業(yè)務(wù)高速擴張的同時(shí)又要保證業(yè)務(wù)的質(zhì)量今天，珠海世紀鼎利通信科技股份有限公司針對手機軟件開(kāi)發(fā)出一套自動(dòng)化移動(dòng)業(yè)務(wù)測試及評估系統——Pilot AutoTest產(chǎn)品，它結合了測試工程師多年的經(jīng)驗和最新研究成果。Pilot AutoTest系列產(chǎn)品包括Pilot AutoTest Enterprise，Pilot AutoTest Handse，Pilot AutoTest Web和Pilot AutoTest Cloud。

Pilot AutoTest系列是一套基于圖像識別原理開(kāi)發(fā)的自動(dòng)化業(yè)務(wù)測試及評估系統。目前已實(shí)現Android，Windows Mobile，Symbian等主流系統的終端測試。該系統通過(guò)終端模擬器進(jìn)行設備模擬，允許用戶(hù)通過(guò)系統模擬真實(shí)操作，程序自動(dòng)記錄用戶(hù)操作的所有過(guò)程。同時(shí)，引入圖像識別技術(shù)及文字識別技術(shù)，提供測試參考及判斷標準，可以更好地幫助加強操作的可執行性，提高自動(dòng)化測試的可靠度及易用度。Pilot AutoTest提供了靈活的腳步編輯功能，包括：異常分支編輯、數據采集、自定義變量、元素修改等，便于用戶(hù)進(jìn)行快捷的腳步移植操作，最大限度的減少額外工作量。允許用戶(hù)任意指定執行中的圖像對比元素(見(jiàn)圖1)。

圖1 手機屏幕圖和對象圖

3.1 Pilot AutoTest Enterprise

企業(yè)級終端自動(dòng)測試系統，提供高效、專(zhuān)業(yè)、準確的本地測試，自動(dòng)錄制命令，用戶(hù)自定義測試腳本，實(shí)現自動(dòng)化回歸測試。允許用戶(hù)連接任意終端、定制測試計劃、自動(dòng)運行，并對運行中的錯誤進(jìn)行自動(dòng)截屏，幫助用戶(hù)更快發(fā)現程序異常，同時(shí)，壓力測試后的測試報告能更好地幫助用戶(hù)評估業(yè)務(wù)程序或終端的穩定性。

Pilot AutoTest使用分布式系統部署，允許用戶(hù)進(jìn)行遠程調度、數據集中管理，無(wú)論身處何地，都能實(shí)現自動(dòng)化測試(見(jiàn)圖2)。

圖2 Pilot AutoTest Enterprise版拓撲圖

3.2 Pilot AutoTest Handset

便攜設備獨立自動(dòng)測試可以提供靈活、方便、終端獨立運行的測試。終端內置腳本執行模塊，通過(guò)本地導入或遠程Web端調度的方式獲取測試腳本，完成自動(dòng)化測試。終端界面的日志記錄、結果統計能幫助用戶(hù)更便捷地獲取第一時(shí)間的測試信息(見(jiàn)圖3)。

圖3 Pilot AutoTest Handset版界面

3.3 Pilot AutoTest Web

中心調度及控制服務(wù)器，客戶(hù)端錄制測試腳本通過(guò)網(wǎng)絡(luò )上傳到服務(wù)器，并存儲到腳本用例庫中，用戶(hù)可通過(guò)Web接入中心調度及控制服務(wù)器進(jìn)行任務(wù)配置、調度、監控，及結果匯總統計等。用戶(hù)通過(guò)Pilot AutoTest Enterprise或Pilot AutoTest Handset均可連接到Web端實(shí)現遠程控制(見(jiàn)圖4)。

圖4 Pilot AutoTest web版界面

3.4 Pilot AutoTest Cloud

終端云資源共享自動(dòng)測試，提供后端虛擬設備資源池。實(shí)現“不見(jiàn)其人，但聞其聲”的意境。用戶(hù)并不實(shí)際接觸終端，但通過(guò)Web訪(fǎng)問(wèn)可以控制終端實(shí)現任意模擬操作，包括開(kāi)/關(guān)機、程序安裝/卸載、業(yè)務(wù)測試等等，與真實(shí)操作完成一致。

AutoTest Cloud為程序開(kāi)發(fā)者提供了更便捷的測試方案，不僅成本節省了，而且也效率卻提高了，更為產(chǎn)品的上線(xiàn)縮短了周期。

4 Pilot AutoTest Enterprise的用途和優(yōu)點(diǎn)

4.1 Pilot auto Test Enterprise的用途(見(jiàn)圖5)

圖5 Pilot AutoTest的應用

(1)Pilot AutoTest是一套針對手機軟件的自動(dòng)化測試工具，它能夠自動(dòng)加載設備并根據腳本實(shí)現業(yè)務(wù)回顧測試。腳本執行完畢后會(huì )自動(dòng)生成一份統計報表，此報表包括執行測腳本的次數、每個(gè)動(dòng)作的執行次數、腳本的成功率、每個(gè)動(dòng)作的成功率等相關(guān)參數。若由于某種原因導致操作失敗還可以提供相應的信息日志以供查看。對于網(wǎng)絡(luò )交互的相關(guān)動(dòng)作，AutoTest結合世紀鼎利Walktour產(chǎn)品，還可以在日志中顯示與網(wǎng)絡(luò )交互的相關(guān)信令、參數、時(shí)延等信息。

(2)可運用于手機軟件開(kāi)發(fā)商，幫助其提高測試效率、縮短測試周期。

(3)可運用于電信運營(yíng)商的入網(wǎng)檢測、大會(huì )戰、定制業(yè)務(wù)等方面，能夠準確、高效、直觀(guān)的呈現測試結果。

4.2 Pilot auto Test Enterprise的優(yōu)點(diǎn)

(1)測試更便捷。由于回歸測試的動(dòng)作和用例是完全設計好的，期望的結果也是可以預料的，自動(dòng)運行可以提高測試的效率，縮短測試的時(shí)間。

(2)可以運行更多更繁瑣的測試執行一些手工測試不能進(jìn)行或者困難的測試，比如，對于大量用戶(hù)的壓力測試，不可能同時(shí)讓足夠多的測試人員同時(shí)進(jìn)行測試，但是卻可以通過(guò)自動(dòng)化測試模擬同時(shí)有許多用戶(hù)，從而達到測試的目的并降低項目投資成本。

(3)更好地利用資源。將繁瑣的任務(wù)自動(dòng)化，可以提高準確性和測試人員的積極性，將測試技術(shù)人員解脫出來(lái)投入更多精力設計更好的測試用例。有些測試不適合自動(dòng)測試，僅適合于手工測試，將可自動(dòng)測試的測試自動(dòng)化后，可以讓測試人員專(zhuān)注于手工測試部分，提高手工測試的效率。

(4)重復測試，每一個(gè)測試腳本都可重復利用，幾次、幾十次、幾百次都由用戶(hù)指定。

(5)測試的復用性。Pilot AutoTest進(jìn)行了專(zhuān)業(yè)的腳本編輯設計，具有良好的移植性，從一個(gè)終端到另一個(gè)終端的測試，用戶(hù)只需要修改部分腳本或部分圖片元素就可以進(jìn)行測試。

(6)增加軟件信任度。由于測試是自動(dòng)執行的，所以不存在執行過(guò)程中人為的主觀(guān)判斷或疏忽，杜絕了測試中人為錯誤。一旦軟件通過(guò)了壓力測試后，軟件的信任度就會(huì )增加。

5 結束語(yǔ)

本文分析了當前手機軟件手動(dòng)測試的缺陷，介紹新一代自動(dòng)測產(chǎn)品——Pilot AutoTest。目的是為了使手機軟件開(kāi)發(fā)商、電信運營(yíng)商等廠(chǎng)商能夠通過(guò)此產(chǎn)品提高測試的效率、縮短測試的周期、解放測試人員和降低測試的投資。誠然，Pilot AutoTest也不是一款全能的自動(dòng)化測試系統，在比如聲音、震動(dòng)、流媒體、游戲等需要主觀(guān)判斷或人機交互上的測試還很有局限，但最大限度的實(shí)現功能性自動(dòng)化測試是Pilot AutoTest的努力方向。