邊做移動測試邊看“示波器”--ThreadingTest帶給

一．移動黑盒測試的缺點:

隨著移動設(shè)備的地位不斷上升，移動設(shè)備上的應(yīng)用質(zhì)量已經(jīng)成為了各大企業(yè)最關(guān)注的問題，在過去幾年的移動測試中，移動測試基本是以黑盒的測試方法進(jìn)行，用人數(shù)來點擊出應(yīng)用上的BUG，但是觀察以往PC黑盒測試的經(jīng)驗，黑盒測試帶來的不足處也將體現(xiàn)出來。

黑盒測試的優(yōu)缺點

(A)      能最直觀和直接地反映出所設(shè)計的軟件是否滿足需求;

(B)      即使沒有任何測試工具支援, 也能靠人工測試的方法完成;

其不足之處是:

(A)      這種測試方法難以找出某些特殊類型的錯誤。例如: 當(dāng)對應(yīng)于某組輸入該被測軟件并不提供任何輸出信息時 – 可能只是改變了某種工作狀態(tài),如果其中的源代碼處理部分有錯誤, 就比較難找出來；

(B)      無法確定哪些測試用例有效或者無效 (所謂無效, 并不是說單獨使用某個測試用例時不能收到任何測試效果, 而是在于它和前面已經(jīng)使用過的測試用例一起使用時, 毫無貢獻(xiàn), 只是重復(fù)了前面的測試用例已經(jīng)完成的測試)；

(C)      具有無可避免的盲目性: 當(dāng)軟件被修改后,由于不知道哪些測試用例能測試到被直接修改過的模塊或者受修改過的模塊影響的模塊, 于是只好將所有測試用例再從頭運行一遍, 而且是動態(tài)運行,非常費時費力。

二．Threading Test示波器展示的方式:

Threading Test(簡稱TT)是一款基于程序源代碼的白盒測試工具，其產(chǎn)品中的Android版更是能測試現(xiàn)今Android設(shè)備上的各類應(yīng)用和游戲，TT和以往PC上的白盒測試工具不同，它率先引入了測試示波器的概念，在實際測試的過程中，測試員可以看到類似于心電圖的數(shù)據(jù)獲取模式。

下圖為運行植物大戰(zhàn)僵尸時，示波器實時獲取的數(shù)據(jù)圖。

可以看到在運行游戲過程中，示波器會把游戲運行的塊、條件、函數(shù)的數(shù)量以心電圖的形式顯示出來。

TT示波器新增的Console模式，讓測試人員在測試過程中顯示獲取的函數(shù)名稱（顯示前50條）。并可以按自己需求以3秒-1分鐘的自動刷新或手動刷新獲取函數(shù)的列表。

上圖中（1）為自動時間和手動刷新條。

      （2）為獲取的函數(shù)所在類名、函數(shù)名、函數(shù)的參數(shù)。

三．示波器心電圖展示方式和Console模式帶來的優(yōu)點:

（1）觀察程序是否正常運行，每個功能點的測試數(shù)據(jù)量是否正確，當(dāng)示波器出現(xiàn)一根橫線時，說明程序停止運行或者出現(xiàn)異常崩潰。

（2）當(dāng)示波器心電圖出現(xiàn)很高的波峰時，說明程序在高頻率運行（如：我們激烈的搖晃著跑步機(jī)這款應(yīng)用時）如出現(xiàn)很低的波谷時，說明程序在低速運行，或者有可能潛在的并發(fā)性問題以及瓶頸，這有利于測試人員通過示波器的跳動來觀察程序的整體運行狀況，而不是以前黑盒測試那樣，只能憑借測試人員的經(jīng)驗來分析。

（3）在console中能看到最近的函數(shù)運行堆棧，當(dāng)程序死鎖或者崩潰時，可以顯示奔潰前50個函數(shù)信息，記錄詳盡錯誤現(xiàn)場，這有利于抓住很難復(fù)現(xiàn)的程序錯誤的執(zhí)行場景，大大縮短了測試人員和開發(fā)人員排查這些錯誤的時間。

（4）當(dāng)測試同一個用例時，測試人員可以通過示波器的跳動規(guī)律進(jìn)行查看，保證跳動規(guī)律精確一致，當(dāng)出現(xiàn)不同時，測試人員可以通過Console進(jìn)行快速的定位以便排查。

 （5）應(yīng)用性能的查看，通常被測程序運行的硬件環(huán)境配置越高，示波器顯示的圖形所處區(qū)域也更高，這有利于測試人員在多環(huán)境中測試時，分析程序的兼容性。

三．大型網(wǎng)站抓取數(shù)據(jù)展示:

下圖為大型網(wǎng)站Liferay的測試示波器圖，我們可以看到在測試這種大型網(wǎng)站的過程中，示波器的引入，能讓我們更加的了解該網(wǎng)站的函數(shù)信息，使以前的黑盒子測試（僅能看到功能的反饋無法看到程序內(nèi)部的反饋）進(jìn)行更加透明化的分析和查看。