4種常見的A / B測試錯誤(以及如何修復)

4種常見的A / B測試錯誤(以及如何修復)

當你為網絡創建內容時,很容易對你認為你的觀眾可能會做出的反應做出假設 – 但這不一定是正確的心態。

輸入 A / B測試 :最簡單和最流行的形式之一 轉換率優化 (CRO)測試已為營銷人員所知。 儘管許多企業已經看到使用這種類型的驗證來改善他們的決策的價值,但其他人已經嘗試過,只留下不確定的結果 – 至少可以說是令人沮喪的。 新的號召性用語

麻煩的是,A / B測試過程中出現的小錯誤可能會導致不斷產生有意義結果的增量式優化。 為了解決這個問題,我在下面概述了一些最常見的A / B測試錯誤(以及他們的補救措施)。 這些提示旨在幫助您保持測試計劃正常運行,以便您可以開始 將更多訪問者轉化為客戶 ,讓我們潛入…

4種常見的A / B測試錯誤(以及如何修復)

問題#1:你的測試工具有問題。

人氣是一把雙刃劍 – 對於高年級學生來說是真實的,對於A / B測試軟件來說也是如此。

無處不在的A / B測試已經帶來了一系列令人敬畏的低成本軟件,供用戶選擇,但並不完全相同。 當然,不同的工具提供了不同的功能,但是工具之間也可能存在一些更複雜的差異。 如果你不了解這些差異,你的A / B測試可能會在你開始之前遇到麻煩。

例如,你知道一些測試軟件會顯著減慢你的網站嗎? 這種下降速度可能會對您的網站的搜索引擎優化和整體轉化率產生有害影響。

實際上,平均而言, 只有一秒鐘 的額外加載時間將導致頁面瀏覽量下降11%,轉換率下降7%。 這會產生一個噩夢場景,其中您希望通過A / B測試改進的網站實際上受到您的努力的阻礙。

情況變得更糟:您選擇的A / B測試軟件實際上也會影響您的測試結果。 企業家和影響者, 尼爾帕特爾 發現他使用的A / B軟件顯示出顯著差異,但是當他實施新頁面時 他沒有看到轉換改變 。 他的問題變成了一個錯誤的測試工具。

所有這些隱藏的陷阱,你能做些什麼來確保你的A / B測試軟件工作正常?

修復:運行A / A測試。

在進行A / B測試之前,您應該使用您的軟件進行A / A測試,以確保其正常工作,而不會影響現場速度和性能。

對於外行來說,A / A測試非常類似於A / B測試。 不同之處在於,在A / A測試中,兩組用戶顯示完全相同的頁面。 沒錯,你需要從本質上測試一個頁面。 雖然起初看起來很愚蠢,但通過運行A / A測試,您將能夠識別由測試軟件引起的任何扭曲效應。

A / A測試是你希望你的結果很無聊的一次。 如果您在開始測試時發現轉換率下降,那麼您的工具可能會減慢您的網站。 如果您看到兩頁結果有顯著差異,那麼您的軟件可能有問題。

問題#2:你停止測試的第一個重要結果。

這是相當於拿球和回家的統計數字。 不幸的是,當涉及到A / B測試時,只要你看到統計顯著的結果就停止你的測試不僅僅是不好的體育精神,但它也會產生完全無效的結果。

許多工具都鼓勵這種行為,只要統計意義已被擊中,用戶就可以停止測試。 但是,如果你想為你的網站帶來真正的改進,你需要儘早結束你的測試。 這可能看起來不符合直覺,但您越是經常檢查測試是否有明顯結果,就越有可能看到不正確的結果。

這裡的問題是誤報:這些結果是錯誤地顯示頁面之間的差異。 您檢查結果的頻率越高,您就越有可能遇到誤報導致的結果。

如果你保持冷靜並且不提前結束測試,這不是問題。 但是,如果您在顯著結果的第一個標誌處結束測試,那麼您很可能會成為欺騙性假陽性結果的受害者。

分析公司Heap已發布 模擬的結果 ,它顯示瞭如何結束你的測試早期妥協你的結果。

使用標準顯著性測試,一旦有5%的誤報機率,就會檢查1,000個用戶測試的結果。 如果測試人員對同一組用戶進行了10次檢查,則誤報率可能會達到19.5%。 如果檢查100次,我們有5%的假陽性可能性增加8倍到40.1%。

下次你對早期有希望的結果感到興奮時,記住這些數字是很好的。

修復:堅持預定的樣本大小。

為了防止誤報,紀律是關鍵。 在進行A / B測試之前,您應該設置一個樣本大小,並避免提前結束測試(不管結果看起來多麼有希望)。

如果你對自己的樣品需要多大的頭腦發癢,不要擔心。 網上有很多工具可用於計算最小樣本量。 一些最受歡迎的是從 Optimizely VWO

關於樣本量的最後一個註記:請記住,您需要為您的頁面選擇一個實際的數字。 雖然我們都樂意讓數百萬用戶進行測試,但我們大多數人並沒有這種奢侈品。 我建議粗略估計在達到目標樣本量之前需要運行測試的時間。

問題3:你只關注轉化。

當你深入A / B測試的雜草中時,很容易將注意力集中在樹木上並錯過森林。 從字面上看,在A / B測試中,很容易只注重轉換,忽視產生的長期業務成果。

雖然向您的網站添加新副本可能會產生更高的轉化率,但如果轉換後的用戶質量較差,那麼較高的轉化率實際上可能會對業務造成負面影響。

A / B測試可能很容易成為虛榮指標的受害者,但這些指標會分散您對實際收入驅動結果的關注。 如果您正在測試通向著陸頁的號召性用語,則不應只關注轉化到目標網頁。 相反,衡量從該頁面產生的潛在客戶並理想地嘗試將這些潛在客戶與他們產生的收入聯繫起來。

修復:測試一個假設。

在開始您的A / B測試之前,您應該列出您想驗證或反駁的假設。 通過將這個假設集中在一個能夠推動實際業務結果的KPI上,您將避免被虛度指標分心。

您的A / B測試應根據其影響此KPI的能力來判斷,而不是影響其他相關數字。 因此,如果您的目標是要增加註冊量,請務必通過衡量註冊來判斷成功,而不是通過點擊率來評估註冊頁面。

在努力驗證或否定您的假設時,請不要丟棄任何不具有統計顯著性的結果 – 而是使用這些結果來通知您以後的測試。 例如,如果對網頁的CTA所做的更改顯示出一個小的,統計意義不明顯的改進,那麼這可能表示您可能正在進行某種操作。 嘗試在你的CTA上運行更多的測試,看看你是否可以選擇能夠產生重大改進的測試。

問題#4:你只測試增量更改。

按鈕顏色測試 可能已經破壞了A / B測試,因為這個測試的​​受歡迎程度使它成為了解如何使用A / B測試的參考框架。 但除此之外,還有更多的實踐。 事實上,雖然大型網站可能會從調整像按鈕顏色這樣的小東西中獲得巨大回報,但對於絕大多數人來說,這些小的漸進式更改不會產生有意義的結果。

A / B測試可能迫使我們瞄準微小的改進,但只注重增量,我們可能錯失更大的機會。

修正:週期性激進測試。

一個好的經驗法則? 定期對您的頁面進行根本性更改。 (這種做法從此被創造出來 激進測試 )如果你看到轉換率很低,那麼這可能是你應該花時間測試一個根本性變化而不是增量變化的標誌。

想想你的測試工作就像撲克遊戲一樣,如果你想看到大的回報,你需要定期下注。

但是在你開始傳播激進測試的榮譽之前,請注意它有一些缺點。 首先,它比A / B測試需要更多的前期工作。 激進測試要求您花時間起草重大頁面重新設計。 由於這次投資,我建議只定期進行激進測試。

激進測試的另一個缺陷是,它很難確定哪些因素對您的網站造成的影響最大。 允許你做的根本性測試是確定一個大頁面改變是否會影響你的轉換,但它不會讓你指出哪些單獨的改變可能會推動這些結果 – 所以在開始之前記住這一點。

這些是最常見的A / B測試錯誤中的一些,但還有很多很多。 在你見過的一些失誤之下分享你的想法。

免費指導a / b測試

發表迴響

Close Menu