2.3　工作原則

為了能夠加快探索環(huán)的速度，縮短整個“8”字環(huán)的運行周期，避免陷入“分析癱瘓”的境地，在探索環(huán)的工作中應該遵循“分解并快速試錯”“一次只驗證一點”“允許失敗”原則。

2.3.1　分解并快速試錯

“一次到位式”解決方案通常需要較高的實施成本，而其帶來的實際效果具有較高的不確定性。由于前期投入的成本較高（即沉沒成本），即使這個解決方案未能帶來預期效果，團隊也不愿意放棄這一方案，決策者通常選擇保留它，或者仍會持續(xù)優(yōu)化，使其慢慢“死去”，而這會帶來不必要的產(chǎn)品復雜性和維護成本。

如果我們能夠換一種思路，更多地使用低成本的快速試驗方式，那么在相同的成本下，可以嘗試更多的方法，嘗試更多的次數(shù)，這意味著可能會有更多的收益。如圖2-11所示，在相同的成本下，盡管快試錯失敗次數(shù)多，但可能會得到更多成功的想法。

圖2-11　慢失敗與快試錯

2.3.2　一次只驗證一點

一次只驗證一個需求假設(shè)。在執(zhí)行整個試驗方案過程中，我們?nèi)耘f要保持開放心態(tài)，不斷優(yōu)化這些試驗方案。時刻提醒自己，我們的目標是驗證我們的假設(shè)，試驗方案只是我們驗證假設(shè)的手段，而不是我們的目標。

國外電商Etsy網(wǎng)站曾經(jīng)對其商品的搜索結(jié)果頁進行徹底地大改造，將商品列表的展示效果改為瀑布流式，這個功能類似于百度圖片搜索結(jié)果頁的無限下拉效果。也就是說，當返回多于一頁的商品結(jié)果時，所有商品可以依據(jù)一定的排序規(guī)則形成一個瀑布流。用戶只要向下滑動頁面，商品就會持續(xù)不斷地展示出來，直到所有搜索結(jié)果全部顯示出來。

團隊擼起袖子，悶頭干了好長時間，這個改造終于可以與用戶見面了。謹慎起見，他們做了一個A/B試驗，結(jié)果令他們大吃一驚。因為在瀑布流的“實驗組”中，有連續(xù)瀏覽行為的人數(shù)是40，而在“對照組”中，這一人數(shù)為80，其數(shù)據(jù)如圖2-12所示。商品點擊率下降了約10%，購買率下降了約22.5%，物品收藏率下降了約8%。這個“瀑布流”根本沒有達到預期的效果，反而更糟糕。

圖2-12　瀑布流搜索頁的試驗結(jié)果

（資料來源：2012年Dan McKinley的“Design for Continuous Experimentation”）

當剛剛得到這樣的結(jié)果時，團隊所有人都認為一定是軟件中存在缺陷，才會導致這個結(jié)果。于是，團隊進行了各種排查，例如將用戶按瀏覽器和地理位置進行分片。派人到公共圖書館使用古老的計算機登錄網(wǎng)站。團隊確實發(fā)現(xiàn)了一些軟件缺陷，但修復它們后也沒有改變整體結(jié)果。

大家又懷疑是因為不同瀏覽器的體驗不同，就針對不同的瀏覽器進行優(yōu)化。每個優(yōu)化在不同的瀏覽器上表現(xiàn)不一致。能夠想到的優(yōu)化都改完以后，情況也沒有什么好轉(zhuǎn)。最終團隊接受了這樣一個事實，即瀑布流方式讓產(chǎn)品變得更糟。在這個過程中，團隊一次性改變了太多的東西，很難發(fā)現(xiàn)任何線索，找出“罪魁禍首”。

事實上，如果仔細分析，我們會發(fā)現(xiàn)，在“瀑布流”這個功能背后的假設(shè)是：更快地為用戶展示更多的商品，會讓用戶的購物體驗更好，用戶會購買更多的商品。而這個假設(shè)由兩部分組成，分別是（1）顯示越多的搜索結(jié)果給用戶，頁面的轉(zhuǎn)化率指標越好；（2）用戶越快地看到商品，頁面的轉(zhuǎn)化率指標越好。

事實上，我們可以找到更快速的驗證方法來檢驗這兩個假設(shè)。對于第一個假設(shè)，在現(xiàn)有頁面上展示出當前顯示數(shù)量兩倍的商品數(shù)量，看是否提高了詳情頁的轉(zhuǎn)化率。這個驗證方案的實現(xiàn)成本應該比原來無限瀑布流的設(shè)計要少很多。事實的結(jié)論是：瀏覽商品落地頁的用戶只增加了一點點，而且這個增加量也不穩(wěn)定，而在商品購買轉(zhuǎn)化率上并沒有變化。

對于第二個假設(shè)，可能會稍顯困難。因為在原有性能的前提下，再次提升商品顯示速度，可能是一個更大的技術(shù)挑戰(zhàn)。但是，我們可以反其道而行之，也就是說，人為地在頁面上增加延遲時間（如200 ms），以驗證用戶的購買率會下降。當然，這并不是一個完美的試驗方案。不過，只要做好小流量測試，使其不大幅影響整個網(wǎng)站的收入，作為對“延遲時間影響用戶購買行為”這一假設(shè)的驗證方法，還是可以接受的。試驗的最終結(jié)果是“對數(shù)據(jù)沒有任何影響”。

2.3.3　允許失敗

盡管每個產(chǎn)品經(jīng)理都希望所有方案都獲得成功，但是我們卻無法保證每個方案都會獲得成功。但是，只要具有開放的心態(tài)，我們就可以從所有方案中都學到很多新的知識，而這些收獲無論是對產(chǎn)品今后的成功，還是團隊人員的能力提升，都具有非常重要的作用。國外著名電商網(wǎng)站Etsy曾經(jīng)做過一次商品詳情頁的改版，這個商品詳情頁如圖2-13所示。

為了促進下單轉(zhuǎn)化率，產(chǎn)品經(jīng)理打算重新設(shè)計商品詳情頁。他先后提供了14個試驗方案，其中每個方案的改動都不是很大。例如，將價格以美元顯示改成按用戶所在地所使用的貨幣顯示；將商品圖片放在網(wǎng)頁的右側(cè)。其他方案還包含字體或按鈕的大小及顏色變化等。這14個試驗的最終結(jié)果是，每個方案對下單轉(zhuǎn)化率都沒有太多的影響，甚至有一些方案的下單轉(zhuǎn)化率還有所下降。然而，在這14個試驗過程中，產(chǎn)品團隊獲得了一些新的用戶認知，例如用戶關(guān)注哪些要素，對哪些要素不是很敏感。最終，在這些試驗的基礎(chǔ)上，該頁面做了一個全面的改版，而這個版本的結(jié)果使訂單轉(zhuǎn)化率提升顯著，該項目成為當年該公司最成功的項目。

圖2-13　商品詳情頁