“我們做了測(cè)試了，然后失敗了?！?/font>

這個(gè)說(shuō)法在A/B測(cè)試的世界中出現(xiàn)的頻率那是相當(dāng)?shù)母撸雎粤艘粋€(gè)事實(shí)，一個(gè)概念本身與概念的執(zhí)行有著本質(zhì)上的不同。想法經(jīng)常隨著時(shí)間重現(xiàn)。

一個(gè)以前失敗過(guò)的人往往被貼上失敗的標(biāo)簽，他們永遠(yuǎn)不會(huì)走出新的大門(mén)。

是的，我想到多年以前…雖然做過(guò)嘗試，但沒(méi)什么卵用。

如果不檢查，這種快速擊倒的心態(tài)可能是有害的。因?yàn)?Booking.com 已經(jīng)進(jìn)行了大約十年的A/B測(cè)試，有時(shí)似乎一切都已經(jīng)嘗試過(guò)了。雖然我們做了很多，失敗了很多次，并且也贏了很多次，但對(duì)于客戶(hù)在我們網(wǎng)站上的體驗(yàn)，依然有很大的改進(jìn)空間。

這就是為什么我對(duì)這種無(wú)情的陳述的反應(yīng)通常是，“好吧，那么…你到底試過(guò)什么，多久之前試過(guò)的？”

他們的A/B測(cè)試是否以類(lèi)似的方式接近整體思路，提出新的方法？如果是，它運(yùn)行了多長(zhǎng)時(shí)間？它是如何影響用戶(hù)行為的？他們能否110％確定在其實(shí)施中沒(méi)有引入錯(cuò)誤或可用性問(wèn)題？

失敗總比成功多。

當(dāng)我聽(tīng)到一個(gè)堅(jiān)實(shí)的概念失敗時(shí)，我會(huì)有一個(gè)問(wèn)題列表。這個(gè)列表源自我的經(jīng)驗(yàn)，導(dǎo)致失敗的方式比導(dǎo)致成功的方式多得多。

這種說(shuō)法是相當(dāng)悲觀的，并有充足的理由。我已經(jīng)做了足夠多的A/B測(cè)試（從生成初始概念到從堅(jiān)實(shí)的技術(shù)角度實(shí)施它），以掌握可能導(dǎo)致好主意消失的運(yùn)動(dòng)部件的數(shù)量。

一個(gè)細(xì)節(jié)上似乎“無(wú)關(guān)緊要的變化”或一個(gè)難以識(shí)別的設(shè)計(jì)缺陷可能產(chǎn)生的負(fù)面影響，足以抵消你的改變可能造成的積極影響。

這里有一些可以使好主意失敗的具體例子：

由于不太理想的技術(shù)實(shí)施，增加了頁(yè)面加載時(shí)間

你添加了一些大圖片，重CSS，或一些表現(xiàn)不佳的JS？你有沒(méi)有注意到任何可能出現(xiàn)的新錯(cuò)誤？

密切關(guān)注所有重要的網(wǎng)站統(tǒng)計(jì)信息，因?yàn)閷?duì)用戶(hù)的“不可見(jiàn)”更改與內(nèi)容和視覺(jué)更改一樣重要。

關(guān)鍵元素上的顏色，字體或字體大小選擇有誤

最重要的信息足夠醒目和清晰嗎？

即使是像把字體用錯(cuò)地方這樣看似無(wú)關(guān)緊要的事情也可能產(chǎn)生負(fù)面影響。

與頁(yè)面上其他內(nèi)容相關(guān)的功能項(xiàng)的大小或位置不正確

你添加或重新設(shè)計(jì)元素時(shí)是否注意了頁(yè)面上的另一個(gè)關(guān)鍵元素？你是否刪除了其他內(nèi)容來(lái)為新功能“留下空間”？

你無(wú)法在網(wǎng)頁(yè)上添加，刪除或更改任何內(nèi)容，而不影響用戶(hù)與其他內(nèi)容的互動(dòng)方式。設(shè)計(jì)師傾向于密切關(guān)注他們正在做的新東西，但忘記了他所改變的元素周?chē)郧笆鞘裁礃幼拥摹?/font>

時(shí)機(jī)不對(duì)

你實(shí)現(xiàn)了在一定時(shí)間后消失的工具提示嗎？你添加的內(nèi)容在一年的某個(gè)特定時(shí)間內(nèi)是否有意義？

顯示某些類(lèi)型的信息太早，太晚，或者沒(méi)有給人足夠的時(shí)間吸收內(nèi)容有時(shí)可能與你預(yù)期的效果相反。

邊緣情況下的錯(cuò)誤

在較少使用的瀏覽器或設(shè)備中是否存在渲染問(wèn)題？它只是在平板電腦上可用，但是當(dāng)它出現(xiàn)在桌面上呢？如果網(wǎng)站是多語(yǔ)言的，全部都翻譯正確并正確本地化了嗎？

如果足夠多的這些邊緣情況組合在一起，它們的累積效應(yīng)可能是負(fù)的。然而，這是全面的A/B測(cè)試框架的好處之一！

你可以使用分析來(lái)查看潛在的用戶(hù)代理，瀏覽器類(lèi)型和測(cè)試失敗的國(guó)家/地區(qū)。每個(gè)用戶(hù)都應(yīng)該在你的網(wǎng)站上有一個(gè)良好的體驗(yàn)，并解決你在數(shù)據(jù)中識(shí)別的這些問(wèn)題可以推動(dòng)結(jié)果超越邊緣。A/B測(cè)試可以幫助確保每個(gè)用戶(hù)的高品質(zhì)。

做出與原始概念沒(méi)有內(nèi)在聯(lián)系的大的，小的和/或不必要的改變，可能具有意想不到的后果

你改變了一行文字，是否同時(shí)也使字更大/更小或添加了新顏色？

如果是這樣，那么你污染了你測(cè)試的概念。我已經(jīng)看到字體大小略有增加，而測(cè)試顏色變化導(dǎo)致堅(jiān)實(shí)和可重復(fù)的概念失敗。

嘈雜的跟蹤

你是否正在測(cè)試新流程或不同的互動(dòng)？你要添加或更改的內(nèi)容是否會(huì)立即顯示在網(wǎng)頁(yè)上？

僅在用戶(hù)實(shí)際受到視覺(jué)變化或與包含不同行為的元素交互時(shí)跟蹤用戶(hù)。如果你跟蹤的人沒(méi)有看到或使用你測(cè)試的概念，那么他們就成為統(tǒng)計(jì)噪聲并稀釋結(jié)果。跟蹤中有太多噪音的話，你就無(wú)法聽(tīng)到用戶(hù)嘗試告訴你的內(nèi)容。

誰(shuí)是受眾？

誰(shuí)會(huì)看到這種變化？它暴露給所有的訪客嗎？對(duì)來(lái)自電子郵件的訪客將看到什么會(huì)設(shè)置一定的期望嗎？他們是來(lái)自付費(fèi)廣告還是自然搜索？他們是否直接輸入了網(wǎng)址？他們是新訪客還是回頭客？他們以前曾經(jīng)購(gòu)買(mǎi)過(guò)嗎？

客戶(hù)的進(jìn)入點(diǎn)及其對(duì)網(wǎng)站的歷史使用會(huì)影響他們?nèi)绾闻c內(nèi)容進(jìn)行互動(dòng)。你能夠?qū)⒂嵪⒍ㄎ坏阶钕嚓P(guān)的用戶(hù)越多，你就越有可能創(chuàng)建有意義的互動(dòng)，使指標(biāo)移動(dòng)。

低流量

你的測(cè)試是否只對(duì)一小部分用戶(hù)暴露了比較微小的變化？

要在低流量網(wǎng)站上得到統(tǒng)計(jì)顯著的結(jié)果，你的更改需要更大，更大膽才能看到效果。換句話說(shuō)，你的想法可能實(shí)際上有效，但你只是不能看到它的統(tǒng)計(jì)數(shù)字。你所做的更改的大小需要與你擁有的流量有關(guān)。

超前的想法？

你什么時(shí)候測(cè)試這個(gè)概念？一段時(shí)間過(guò)去了，但問(wèn)題還沒(méi)有解決？

今天沒(méi)生效的可能會(huì)在明天有效果，昨天有效的可能會(huì)把你帶回到今天。

我們?cè)O(shè)計(jì)的產(chǎn)品必須像設(shè)計(jì)產(chǎn)品的人一樣動(dòng)態(tài)。

人是動(dòng)態(tài)的，他們的期望隨著他們和他們周?chē)氖澜绲淖兓兓?。這就是為什么我們?cè)O(shè)計(jì)的產(chǎn)品必須同樣動(dòng)態(tài)。

設(shè)計(jì)師可能傾向于引領(lǐng)潮流，因?yàn)槲覀儗?shí)時(shí)關(guān)注著發(fā)展脈搏。

設(shè)計(jì)趨勢(shì)，最新的 HTML 和 CSS 技巧，以及奇特的技術(shù)集成可能看起來(lái)很酷，但大多數(shù)時(shí)候，我們的期望與典型用戶(hù)感覺(jué)到舒適的差別很大。

我們正在設(shè)計(jì)的產(chǎn)品是為了正常人今天的使用。

我總是試圖提醒自己，我正在設(shè)計(jì)產(chǎn)品為了正常人今天的使用。

去年不習(xí)慣滑動(dòng)手勢(shì)的人可能期望今年看到他們。幾年后，隨著硬件變得越來(lái)越強(qiáng)大，過(guò)去引發(fā)瀏覽器崩潰的風(fēng)騷的幾行代碼就可以解決這個(gè)問(wèn)題。

這些只是我在設(shè)計(jì)數(shù)據(jù)時(shí)遇到的最常見(jiàn)的幾個(gè)問(wèn)題。

這就是為什么對(duì)你所測(cè)試的概念有一個(gè)高段位的深入理解，對(duì)系統(tǒng)的復(fù)雜性，以及無(wú)瑕疵的實(shí)施解決方案的牢固把握，是一個(gè)想法最終成功（或失敗）的必要條件。

以下是在你設(shè)置下一個(gè)A/B測(cè)試時(shí)要記住的一些事項(xiàng)：

1、記住仔細(xì)地通過(guò)復(fù)雜性來(lái)檢驗(yàn)?zāi)愕母拍畹闹匾浴?/b>

2、結(jié)果，無(wú)論是積極，消極或中立，可以幫助形成相同概念的未來(lái)迭代，或可以為你提供對(duì)待測(cè)試的新假設(shè)的洞察。

3、保持自己對(duì)質(zhì)量的高標(biāo)準(zhǔn)，即使在容易的情況下。

4、每個(gè)A/B測(cè)試，無(wú)論大小或范圍，應(yīng)該得到相同的關(guān)注。

5、理解一個(gè)負(fù)的或中性的結(jié)果不一定意味著“不”。這些結(jié)果也可能意味著“不太

對(duì)”或“還不完全”，你測(cè)試得越多，你就越能發(fā)現(xiàn)“不”實(shí)際上意味著“不一定”。

等等！還有更多…

然而，有時(shí)，一個(gè)概念是如此強(qiáng)烈，它可以生存，即使在最糟糕的情況。

我相信你已經(jīng)經(jīng)歷了主要網(wǎng)站上的特性或功能的例子，這些功能非常有用，但缺乏視覺(jué)細(xì)化和/或有一些不幸的可用性問(wèn)題。

有時(shí)一個(gè)糟糕的執(zhí)行阻止一個(gè)偉大的想法成功，但有時(shí)一個(gè)偉大的想法會(huì)成功，盡管實(shí)施很隨意。

所以，就是這兩面。

“平均”和“例外”之間的區(qū)別讓數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)師意識(shí)到“概念 ≠ 執(zhí)行”。

作者：Zoran

來(lái)源：吆喝科技（ID：appadhoc）

愛(ài)盈利（aiyingli.com）移動(dòng)互聯(lián)網(wǎng)最具影響力的盈利指導(dǎo)網(wǎng)站。定位于服務(wù)移動(dòng)互聯(lián)網(wǎng)創(chuàng)業(yè)者，移動(dòng)盈利指導(dǎo)。我們的目標(biāo)是讓盈利目標(biāo)清晰可見(jiàn)！降低門(mén)檻，讓缺乏經(jīng)驗(yàn)、資金有限的個(gè)人和團(tuán)隊(duì)獲得經(jīng)驗(yàn)和機(jī)會(huì)，提高熱情，激發(fā)產(chǎn)品。