電商經營 · Experiment Designer
幫你測出商品頁改版有沒有效
一次只改一件事，算好要跑多久、看多少人，再決定留不留
主圖換了、標題也改了，這週業績好像有變好，但到底是改對了，還是剛好碰上發薪日？每次都憑感覺決定要不要留，改回去又不甘心。
這是什麼
這個技能陪你把「我想改一下商品頁」變成一次講得清楚、看得懂結果的測試。改之前先寫下你預期什麼會變、變多少，選好一個決定去留的指標，再算出要累積多少人看過、多少張單才分得出差別。跑完幫你判斷差異是真的，還是只是這幾天剛好比較旺。
- 把想改的地方寫成一句可以驗證的話：改什麼、預期哪個數字變多少、為什麼
- 幫你挑一個決定去留的主要指標，另外設幾條不能變差的底線，像退貨率和客訴數
- 算出這次要累積多少人看過、多少張單，才有辦法分辨真的差異
- 把一堆想改的東西排先後，看哪一個先做最划算
- 事先講好什麼時候停、什麼情況直接喊卡，避免看到一天好數字就提早收工
- 跑完幫你讀結果，分清楚是真的變好，還是只是新鮮感或運氣
什麼時候用得上
蝦皮主圖到底要不要換
你做了兩版主圖，一版情境照、一版白底加賣點文字，同事各喜歡一版，最後靠猜。先寫下：換成白底加文字，預期點進來的比例多兩個百分點，因為手機上滑很快，文字比情境好認。再算出以現在一天四百次曝光，要累積幾天才分得出兩個百分點的差別。答案可能是十天，那就跑滿十天，第三天贏了也不要提早收。
免運門檻要不要拉高
原本滿六百免運，想拉到八百，怕客單價上去但訂單數掉更多。這時候主要指標不是客單價，是每個進來的人平均帶來多少營收；同時把訂單數和取消率設成底線，掉超過你能忍受的幅度就停。跑完會告訴你客單提高的部分有沒有把流失的訂單補回來，還是只是把數字換個位置放。
一次想改五個地方的時候
新的商品頁想同時換主圖、改標題、加開箱影片、調價格、換按鈕文字。全部一起上，做好了不知道是哪一項有用，做壞了也不知道該退哪一項。它會把這五件事按照「可能影響多大、有幾成把握、做起來多快」排出先後，先做最划算的一兩件，其他排進後面的月份。三個月下來，手上就會有一份自己商品真正有效的清單。
怎麼用
- 01
先寫下你賭的是什麼
用一句話講完：把商品頁第一張圖從情境照換成白底加賣點，預期加入購物車的比例從百分之八升到百分之十，因為多數人用手機滑很快，白底文字看得清楚。這句話要有「改什麼、哪個數字、變多少、為什麼」四個部分。寫不出「為什麼」，通常代表你只是想換換看，那不急著測。
- 02
挑一個指標決定去留
只能有一個說了算的數字，其他都是參考。賣單價高的看下單率，衝流量的看點進率，做回購的看三十天內回購。另外設兩三條不能變差的底線，例如退貨率、客訴則數、平均出貨天數。指標超過三個，最後就會變成挑對自己有利的那個看，那等於沒測。
- 03
算清楚要跑多久才看得準
告訴它現在成交比例大概多少、希望至少看出多大的差距，它會算出要累積多少人看過才夠。差距愈小要的量愈大：想分辨百分之八和百分之十不難，想分辨百分之八和百分之八點五，可能要跑到你等不起。這時候與其硬跑，不如換一個幅度更大的改法，反而更快有答案。
- 04
跑完再一起看結果
說好幾天就跑幾天，中間不要每天看數字然後見好就收，那是最容易騙自己的做法。跑完把結果丟回來，它會告訴你差異落在什麼範圍、有沒有可能只是運氣，以及這個幅度換算成一個月的營收值不值得改。如果剛上線那幾天特別好、後面回落，那多半是新鮮感，不是真的變好。
實際對話長這樣
我在蝦皮賣香氛蠟燭，商品頁一天大約六百人看過，加入購物車的比例大概百分之八。我想把第一張主圖從情境照換成白底加賣點文字，希望加購比例至少提高兩個百分點。請幫我把這個想法寫成完整假設，決定主要看哪個指標、哪些數字不能變差，算出要跑幾天、累積多少瀏覽才分得出差別，並先講好什麼情況要提早喊停。另外我還想測免運門檻從六百拉到八百、標題加上香調關鍵字，請一併排這三件事的先後。
它會先把你的想法補成一句完整假設，然後說主要指標是加入購物車比例，退貨率和客訴則數設為底線。接著算給你看：從百分之八提高到百分之十，兩組各需要大約三千五百次瀏覽，以一天六百人平分兩組計算，大概要跑十二天，中途不看不停。三件事的順序會排成先換主圖、再改標題、最後才動免運門檻，因為前兩件改起來快、差別也看得出來，動價格條件的風險最大。最後附上喊停條件：加購比例掉超過一成五就直接收掉。
幾個實用技巧
- 一次只改一件事。主圖和標題一起換，贏了也不知道功勞算誰的，下次沒辦法複製。
- 不要每天偷看然後見好就收。說好跑十天就跑滿，提早收的結果多半是運氣。
- 差距太小就別測。流量不夠的賣場與其測百分之零點五的差別，不如做幅度大一點的改動。
- 剛換版前三天特別好很常見，那是老客人看到新東西的反應，過一週再看才準。