在實踐中進行用戶測試和評估

2019工業(yè)信息安全技能大賽個人線上賽第一場圓滿收官。在保障競賽平臺成功穩(wěn)定運行的同時，更多的還是思考競賽平臺在本次支撐過程中的用戶體驗，用戶測試與評估情況。作為專業(yè)為工業(yè)信息安全打造的人才測評選拔和競賽平臺，實際的競賽活動就是檢驗和測試產(chǎn)品最好的試金石，也是用戶測試環(huán)節(jié)的最佳測試環(huán)境。
在產(chǎn)品設計與優(yōu)化過程中，產(chǎn)品用戶測試與評估環(huán)節(jié)是指請符合測試要求的目標用戶來完成一些特定或具有代表性的任務，觀察并記錄用戶使用產(chǎn)品的整個過程，包括用戶使用的順暢程度和情緒等多個方面。測試過程不是應對用戶的不滿和要求，而是通過觀察用戶的行為操作及情緒等方面來把握用戶的實際使用情況。用戶測試有時也會稱為產(chǎn)品可用性測試，可用性測試的定義是“特定用戶在特定的使用場景下，為了達到特定的目標而使用某產(chǎn)品時，所感受到的有效性、頻率及滿意度”。用戶測試也作為競品分析和市場調(diào)研的方法，我們會經(jīng)常性的使用用戶測試的方法對其他廠商的產(chǎn)品進行評測，為自身產(chǎn)品的設計提供參考。
對于目前市面上存在的網(wǎng)絡安全競賽平臺而言，用戶使用情境和目標就是支撐網(wǎng)絡安全賽題展示交互與賽題答案提交，并為選手輸出可定量和定性的評估結(jié)果。滿足了這樣的前提，我們才能使用有效性、效率及滿意度等這些標準來對其進行評價。競賽平臺經(jīng)過在我們典型的可用性實驗室及產(chǎn)品測試團隊的可用性測試的基礎上，經(jīng)歷了2018工業(yè)信息安全技能大賽多個場次的用戶使用測試，在產(chǎn)品的可用性上，已經(jīng)具備了提供網(wǎng)絡安全賽題展示交互與賽題答案提交并提供定量和定性評估結(jié)果的目標和功能，即產(chǎn)品已經(jīng)具備了可用性。
在2019工業(yè)信息安全技能大賽的支撐上，我們對競賽平臺后續(xù)需要的可用性測試目標進行了進一步梳理，即在2019工業(yè)信息安全技能大賽過程中，我們的產(chǎn)品團隊對競賽平臺的可用性測試的測試目標是什么？也就是我們做可用性測試到底要測那些內(nèi)容，想知道些什么信息？根據(jù)標準的可用性測試方法及流程，一般來講可用性測試主要分為三大內(nèi)容：
第一：首先是有效性。是否有效就是說用戶是否能達成自己的目標，比如網(wǎng)絡安全競賽，有效性就是用戶能夠進行賽題交互、提交答案并輸出定量和定性結(jié)果，如果提交不了答案就是有效性出了問題，那這個競賽平臺就沒有存在的價值了。所以有效性問題就是首要的必須要解決的問題。
第二：效率。效率就是用戶不用做無用功，能以最快路徑達成目標，仍然以網(wǎng)絡安全競賽為例，如果用戶在競賽過程中需要反復操作很多次才能完成任務，那就存著效率問題了，嚴重的效率問題就是有效性問題。
第三：滿意度。滿意度是在有效性和效率兩方面都沒有大問題的情況下，有沒有給我們的用戶帶來不愉悅的體驗，這就可能涉及到很多方面很多細節(jié)，比如用戶注冊的時候會不會要求輸入過多的信息，或者系統(tǒng)反應及不及時等這種問題。
基于這三個基本要素的標準可用性內(nèi)容，我們競賽平臺的可用性測試需要在有效性、效率及滿意度上繼續(xù)深挖，以比賽作為契機，競賽用戶選手作為測試評估的主體，它基于真實的用戶數(shù)據(jù)進行評價，相對客觀，擁有較強的說服力。用戶測試的目的是發(fā)現(xiàn)問題，改善我們的設計，挖掘潛在的需求。其測試評估價值巨大：
第一，它能夠挖掘潛在的需求。挖掘潛在需求是根本，決定了產(chǎn)品的發(fā)展方向；
第二，發(fā)現(xiàn)并解決產(chǎn)品存在的問題。發(fā)現(xiàn)需要解決的問題，包括界面框架邏輯結(jié)構交互等等是否合理，用戶體驗是否良好；
第三，降低產(chǎn)品周期成本。邊做邊測試評估，通過快速迭代降低交互設計的周期成本，或者對產(chǎn)品迭代提供良好的參考意見；
第四，增強設計說服力。用戶測試可以用鮮活的案例，鮮活的數(shù)據(jù)等增強設計的說服力。
我們在競賽結(jié)束后以電話調(diào)查和采訪的方式對選手進行抽樣用戶測試數(shù)據(jù)采集，并將采集的測試評估數(shù)據(jù)記錄并進行梳理歸納處理，最終輸出我們需要的調(diào)查評估數(shù)據(jù)。在整個過程中，用戶測試基本流程需要精心設計。根據(jù)經(jīng)驗，我們將用戶測試基本流程分為四大部分：
第一：首先需要明確本次測試的目標，然后由用戶研究員設計參與者在測試過程中需要完成的任務及測試腳本，由于本次是直接在競賽過程中對用戶進行用戶測試，因此本次競賽選手即為我們需要招募的測試用戶。根據(jù)年齡段及社會經(jīng)驗作為招募標準和調(diào)查對象篩選條件。因為測試中設計什么樣的任務和你要描述的用戶操作直接相關，確定了前者，后者也就更加明確了。
第二：需要在競賽選手中篩選用戶進行數(shù)據(jù)采集，我們所邀請的用戶必須是目標用戶，并且符合本次測試的各項條件。綜合目前調(diào)查的情況來看，我們篩選了進入場景題的所有用戶作為本次調(diào)查和數(shù)據(jù)采集的對象，并根據(jù)設計對應的測試調(diào)查任務和問題進行電話逐一采訪，成功收回所有測試數(shù)據(jù)。
第三：進行測試，在正常的產(chǎn)品測試中，我們會使用可用性實驗室及產(chǎn)品測試團隊。在本次測試中，我們直接使用選手的實際使用操作作為測試環(huán)境和測試對象，在進行測試中我們需要觀察和記錄參與者執(zhí)行任務的情況。在電話采訪中，一般我們以拋出問題為主，少做建議，在用戶不知所措的時候適當?shù)靥釂柣蛘邘椭右砸龑А?br/>第四：分析與報告，電話采訪結(jié)束后，需要對采集的數(shù)據(jù)進行記錄并進行預處理，仔細重讀每個參與者的測試記錄，挖掘其中的可用性問題，列出所有的問題并分類整理，判斷問題的嚴重性，整理成為可閱讀性的測試報告。
測試報告羅列出采集的問題，還不能直接用于產(chǎn)品的改善任務和優(yōu)化條目，我們還得繼續(xù)分析問題以梳理更多細節(jié)：比如如何判斷測試用戶對某一問題是理性還是感性的？這就又回到了我們設計測試任務的初衷及內(nèi)容層面上，針對這一問題的判斷還需要我們就任務內(nèi)容本身著手，并就任務內(nèi)容本身尋找答案。除了答案本身的理性與感性判斷，我們還需對任務內(nèi)容本身的采集數(shù)據(jù)進行定量和定性評估，定量評估是對可以計量的部分進行評價，如點擊量，使用率等，完全可以用數(shù)據(jù)來說明。定性評估是指對非計量的部分進行評價，如流暢度、舒適性、創(chuàng)造性等進行評價，它只能表示一個度，無法準確用數(shù)據(jù)來說明問題。根據(jù)采集的問題的價值判斷及定量定性評估分析，我們就能篩選出比較關切的可用性問題并針對性的羅列計劃進行逐一解決。
本次用戶測試調(diào)查幫助我們找出了一些問題，有益于產(chǎn)品的優(yōu)化改進。在有效性方面，測試用戶均表達了對×××接入場景的網(wǎng)絡穩(wěn)定性的擔憂、***客戶端下載速度受限于選手本身網(wǎng)絡速度等問題。由于是第一次采取線上賽場景題接入模式，在調(diào)查反饋中，測試用戶表示下載×××客戶端花費了較長時間，在爭分奪秒是賽場上，網(wǎng)絡不好的一方將會受限于網(wǎng)絡下載而拖慢進入場景的速度，影響與賽題的交互和答案的提交。從產(chǎn)品的可用性角度看，這是一個嚴重的有效性問題，將會在后續(xù)的幾個場次中優(yōu)先解決該問題。其次，測試用戶均表達對×××網(wǎng)絡的穩(wěn)定性問題的擔憂等重大有效性問題。
在效率方面，測試用戶希望在賽題答案示例、***目標IP直接提供等方面提供操作效率。由于賽題答案格式不統(tǒng)一，均希望在提高答題效率方面，針對每個賽題能夠提供賽題的答案示例，以提升選手尋找答案及拼接答案的操作效率，減少重復的嘗試及時間浪費。此外，由于***目標確定，測試用戶希望能夠直接提供***目標IP地址，減少不必要的網(wǎng)絡掃描，因為所有選手的網(wǎng)絡掃描會嚴重占用大量帶寬資源，造成網(wǎng)絡在接入階段的阻塞和卡頓。
還有其他各種細節(jié)的小問題記錄也會幫助我們改善后續(xù)的產(chǎn)品用戶體驗。綜合來看，競賽平臺在實踐中進行用戶測試和評估，能夠最大程度的幫助我們改善產(chǎn)品、優(yōu)化體驗，發(fā)現(xiàn)并解決產(chǎn)品存在的問題。