1.5 可用性測試：任務(wù)評估模型與計量方式

作者：鄭少娜

可用性測試算是用戶研究的一個入門級技能。然而在可用性測試中如何對不同的任務(wù)做標(biāo)準(zhǔn)化的評估和橫向?qū)Ρ饶兀勘疚膰L試定義了一個任務(wù)評估模型，并且給出了模型中具體的維度和計量方式。

1．評估模型

ISO 9241中對“可用性”的定義是特定用戶在特定的使用場景中，為了達(dá)到特定目標(biāo)而使用某產(chǎn)品時，所感受到的有效性、效率和滿意度。

也就是說，在定義好了用戶、場景和目標(biāo)的前提下，可用性包含了下面三個維度：

有效性（Effectiveness）：用戶完成特定目標(biāo)的正確和完整程度。

效率（Efficiency）：與消耗的資源相對的完成特定目標(biāo)的正確和完整程度。

滿意度（Satisfaction）：用戶不感到不適，并且對系統(tǒng)的使用持有積極的態(tài)度。

良好的可用性必須能夠同時滿足有效性、效率和滿意度三個條件；但是這三個維度也有層次之分，一般來說，有效性問題＞效率問題＞滿意度問題。

在可用性測試中，僅僅了解每個功能的可用性水平還不夠。即使兩個功能的可用性水平一樣，若一個是產(chǎn)品的基本功能、一個是價值不大的邊緣功能，我們還是需要優(yōu)先去優(yōu)化價值更高的功能。也就是說，在評估一個任務(wù)時，除了可用性之外我們還需要考慮功能本身的價值。尤其是在上線了新功能，或者我們對待測功能的價值還不太確信的時候。

功能的價值可以簡單分為兩部分：用戶價值和商業(yè)價值。盡管有時候需要在二者之間權(quán)衡，但是作為一個體驗導(dǎo)向的產(chǎn)品，還是應(yīng)該將用戶價值放在第一位。在用戶價值之上，若能夠滿足商業(yè)價值，則是更令人滿意的結(jié)果。

所以，在可用性測試中可以用下面這個模型來對測試的任務(wù)進(jìn)行評估：

2．測量方法

在上述模型中，有效性、效率、滿意度都是常見的評估維度，有一些經(jīng)驗方法可以參考；用戶價值也可以通過用戶評價獲得。而商業(yè)價值則需要根據(jù)產(chǎn)品的實際情況進(jìn)行評估，并且這一般是既有的知識，不需要在可用性測試過程中收集這個數(shù)據(jù)。因此在可用性測試中我們需要收集的數(shù)據(jù)就只包含四個維度：有效性、效率、滿意度和用戶價值。

1）有效性

可以用任務(wù)的完成情況來評估有效性，這個數(shù)據(jù)通過觀察用戶的操作過程即可獲得。

任務(wù)完成情況的考量主要參考NNG（尼爾森諾曼集團(tuán)）的建議，將每個用戶的操作結(jié)果標(biāo)記為失敗、部分完成或全部完成。

（1）失敗：如果用戶認(rèn)為自己完成不了而放棄了任務(wù)，或者超過了限定時間仍然無法完成任務(wù)，則標(biāo)記為失敗。

需要對每個任務(wù)都設(shè)置一個限定時間。要求對功能非常熟悉的人（相關(guān)的產(chǎn)品經(jīng)理、設(shè)計師都可以）按照任務(wù)提示進(jìn)行操作，記錄完成操作所需的時間，稱為熟練用時。如果想要提高熟練用時的測量準(zhǔn)確度，可以多找?guī)讉€人操作然后取其用時平均值。任務(wù)的限定時間根據(jù)熟練用時確定，一般是熟練用時的3～10倍，但是最高也不要超過10分鐘（沒有用戶會有耐心花10分鐘完成一個任務(wù)，如果真的需要這么久，說明任務(wù)設(shè)計得太復(fù)雜了）。可以根據(jù)任務(wù)的難度確定倍數(shù)，如果任務(wù)對于小白用戶來說確實很有難度，那么可以適當(dāng)延長任務(wù)限時；如果任務(wù)很簡單，或者其中包含一些輸入的操作，那么可以適當(dāng)減少任務(wù)限時（因為打字往往比較費時，而且對功能熟悉的人打字未必比用戶快）。

（2）部分完成：用戶只完成了一部分的任務(wù)，沒有完成任務(wù)卡上的所有要求。例如，你希望用戶創(chuàng)建一個日程并邀請小王加入，用戶成功創(chuàng)建了日程但是卻不知道如何（或者忘了）邀請小王，這就是部分完成。之所以要劃分出“部分完成”這個類別，是因為它跟100%完成有差距，但是又不能與失敗混為一談。

（3）全部完成：這個很容易理解，就是在限定時間內(nèi)完成了任務(wù)卡上的所有要求。

最后，需要根據(jù)這些數(shù)據(jù)計算每個任務(wù)的成功率。NNG的建議算法是任務(wù)成功率=（完全完成的用戶數(shù)+部分完成的用戶數(shù)×0.5）/用戶總數(shù)，即“完全完成率”+“部分完成率”的一半。

除了用完成、部分完成和失敗來評價任務(wù)完成情況外，還可以考慮另一種方式：順利完成、遇到障礙后完成、失敗。這是我之前使用的計分方式。這種方式下，以上所述的部分完成會被歸于失敗的類別（但如果用戶犯的是無傷大雅的錯誤，例如輸入錯誤，可以視為完成）。而成功完成的用戶會被細(xì)分為順利完成和遇到障礙后完成。之所以這樣區(qū)分是因為這兩種情況揭示了不同的可用水平——能讓用戶輕松地完成的功能可以說是相當(dāng)易用的。

2）效率

效率可以用時間測量，即對用戶的操作過程計時。例如，可以從用戶拿到任務(wù)卡開始計時，在用戶宣布自己已經(jīng)完成或者限定時間到了的時候就結(jié)束計時。不要等到用戶讀完任務(wù)卡、開始操作時才計時，因為有的用戶習(xí)慣讀完再操作，有的卻喜歡一邊讀一邊做。也不要在看到用戶完成了就結(jié)束計時，而要等用戶自己認(rèn)為他已經(jīng)完成了，因為用戶有時候會在做完操作之后去檢查自己的操作是否成功了，這也應(yīng)該算作任務(wù)用時的一部分。

計時不需要太精確。手動計時存在幾秒鐘的誤差都算是正常的，而且用戶在操作過程中多說了句話或者應(yīng)用響應(yīng)速度慢了些，這些都會影響任務(wù)的完成時間（并且很多影響因素跟可用性并沒有關(guān)系）。所以計時只要精確到分鐘就好了，繼續(xù)提高記錄的精確度也沒有意義。

在計算每個任務(wù)的效率水平的時候，可以用用戶的平均用時除以熟練用時所得的倍數(shù)表示（數(shù)值越大表示效率越低）。這是為了便于任務(wù)間的橫向比較，因為不同任務(wù)的復(fù)雜度不同，A任務(wù)平均用時1分鐘，B任務(wù)平均用時4分鐘，也不能說明A的操作效率比B高。通過平均用時與熟練用時的比值，可以知道新手與熟練用戶之間的差距，從而了解因為系統(tǒng)的可用性及學(xué)習(xí)成本給用戶帶來的操作時間損耗。

3）滿意度

滿意度涉及用戶的主觀評價，因此需要通過用戶自評量表來收集。這里參考的是Jakob Nielsen使用的一個單題項七點量表，即“在1～7這個數(shù)值范圍，你傾向于用哪個數(shù)值表達(dá)你使用這個網(wǎng)站（或應(yīng)用、網(wǎng)絡(luò)等）的滿意度？”

根據(jù)需要對題目進(jìn)行修正，可表述為“在操作當(dāng)前任務(wù)時，你有多滿意？”1代表“非常不滿意”,7代表“非常滿意”，用戶可在1～7中進(jìn)行選擇。

4）用戶價值

用戶價值是指用戶感知到的功能價值，也需要通過用戶的評價獲得。因為我們做的是一款辦公軟件，所以通過詢問功能對工作的幫助來了解用戶價值。同樣可使用七點量表測量，通過計算平均分得出功能價值。

如詢問“這個功能對你完成工作有多大幫助？”1代表“完全沒有幫助”,7代表“有很大幫助”，用戶可在1～7中進(jìn)行選擇。

滿意度和用戶價值都需要用戶評分，因此用戶在完成每個任務(wù)之后都會拿到兩個維度的評分題目，要求對該任務(wù)做出評價。我會把不同任務(wù)同一維度的評分題目打印在同一張紙上，這樣用戶在評價時可以參考自己對前面任務(wù)的評價來調(diào)整分?jǐn)?shù)。

5）任務(wù)橫向?qū)Ρ?/p>

用有效性、效率、滿意度、用戶價值四個維度對任務(wù)進(jìn)行評價后，我們可以根據(jù)這些數(shù)據(jù)對不同的任務(wù)做橫向?qū)Ρ龋梢酝ㄟ^類似下方這樣的折線圖對比不同任務(wù)的情況。

例如從上面這個示例圖中，我們可以看到任務(wù)2的可用性水平是比較低的（有效性水平低、完成時間長、用戶滿意度低），但是它的用戶價值處于相對較高的水平；而任務(wù)3的用戶價值最高，可用性水平居中。

有效性、效率和滿意度都是用來評估可用性水平的。如果根據(jù)這三個數(shù)值計算出可用性水平，直接用可用性去做橫向?qū)Ρ龋欠窀奖隳兀壳拔奶岬皆诳捎眯灾校行詥栴}＞效率問題＞滿意度問題，所以在計算可用性水平時它們應(yīng)該有不同的權(quán)重；并且由于度量方式的不同，它們的數(shù)值有較大差異，需要做標(biāo)準(zhǔn)化處理。

因此，我們需要對有效性、效率、滿意度分別做標(biāo)準(zhǔn)化處理，然后按照5∶3∶2的權(quán)重計分（或者其他權(quán)重，按需調(diào)整）：

可用性水平=有效性×0.5—效率×0.3+滿意度×0.2

（效率用減號是因為其用時間測量，數(shù)值越大效率越低。）

這樣我們得以在同個標(biāo)準(zhǔn)比較不同任務(wù)的可用性水平，結(jié)合對功能價值的評估，可以得出類似這樣的四象限圖：

這樣的象限圖不僅可以幫助我們比較測試各個功能的情況，還能幫助確定體驗優(yōu)化的優(yōu)先級。如圖中①所標(biāo)示的區(qū)域功能價值高、可用性差的功能應(yīng)該列入最高優(yōu)先級，其次是②所標(biāo)示的區(qū)域中功能價值較低、可用性差的功能。

6）問題優(yōu)先級

除了上述的評估模型外，在可用性測試中我們還會發(fā)現(xiàn)很多可用性問題，這些問題大概是可用性測試產(chǎn)生的最重要的數(shù)據(jù)了。那么，這些可用性問題是否需要進(jìn)行優(yōu)先級評估呢？

可用性問題當(dāng)然是有優(yōu)先級之分的，一個問題是影響了功能的有效性、效率還是滿意度，就決定了這個問題的優(yōu)先級如何。我認(rèn)為可以在每個任務(wù)之內(nèi)按照這個標(biāo)準(zhǔn)對發(fā)現(xiàn)的可用性問題進(jìn)行排序，但是不需要把所有任務(wù)發(fā)現(xiàn)的所有問題羅列出來去排列優(yōu)先級。

優(yōu)化可用性問題時應(yīng)該以功能（即可用性測試中的任務(wù)）為單位，而不是以問題為單位。以問題為單位容易只見樹木不見森林，可能在修改了很多細(xì)節(jié)后產(chǎn)品仍然算不上好用。所以排列問題優(yōu)先級時，也建議根據(jù)上面的四象限圖先確定功能的優(yōu)先級，然后再去查看每個功能具體的可用性問題的優(yōu)先級。