绝大多数的 AB 测试终将失败

Send_linux

　　
   
        
            
            
            我觉得AB测试有点言过其实。最近哪哪都在谈它，许多同行都觉得这是个四两拨千斤的好东西。你很容易就会被它的牛B吸引----网上到处都是改了一个傻不啦叽的按钮的颜色后怎样将用户转化率提升了300%之类的
成功案例
。
            AB测试是一个很牛的转化率优化利器，但这得花很多精力，且常常无功而返。许多提升了300%之类的故事不外乎如下两种情况：
            
               

一个很垃圾的东西变正常了，用户自然增长。这种情况没必要搞AB测试。读读一些关于
基本设计规则
或
人类大脑
的书比这强多了。
               

从0.5%到1%也叫增加了100%呀，虽然有增加也不错，但这顶个毛用啊！
            
            没有公司通过像改变一个按钮的颜色之类的小细节增加了收入。没有一个呀，为0呀，亲。醒醒吧！
            
            
        
   
   
        
            
            
            大部分测试没有任何结果
            有效的分割测试是很少见滴。大部分情况下两个页面的转化率是不相上下的，特别是一点小改你也要测一下的时候。
            根据我们的经验，10个AB测试里只有一个会有结果。AppSumo说的更低，是
八分之一
。这些数字似乎在整个行业中是一致的。
            下面这个是我们最近测过的一个例子。我们的引导页通常很长，因此我们将常用操作按钮固定了，用户滚动页面时按钮会一直在视野里。你可以在
hosted help desk
这个页面里找到这个设计。我们以为这肯定会提高转化率。
            

            有85K用户参与测试，新旧两款页面转化率几乎一模一样。啊多么痛的领悟。
            
            
        
   
   
        
            
            
            另外一个例子：我们为标价页搞了两个页面，一个标价从最高价到最低，另一个相反，然后跟踪最高价产品的下单情况。
            

            30K用户参与测试，又一次0差异。
            我们后来甚至将页面彻底的重新设计了，原来是这样的：
            

            后来变成这样：
            

            你以为我们的转化率变了？毛呀，一点也没有变。看到这你还以为改个按钮颜色很有用么？
            
            
        
   
   
        
            
            
            统计学显著性
            亚马逊已率先在电子商务中的AB测试。他们每日访客有几百万，一个小变化下能导致大增长。然而，我们大多数人不可能拥有这样的数字。
            AB测试结果要有
统计学显著性
才可信，否则它是没有用的。这东西取决于参加该测试的访客总数。如果您运行测试，20访问者，有一个页面有2次转换，而另一个有4次，但这并不意味着这第二个会比其它的好。
            所以说，如果你网站没有这么多访客，或者测试时间太短，AB测试是没有用的。许多人仓促结束测试，得出一堆牛B结论，这就是真相。
            
            
        
   
   
        
            
            
            醒几个金句过你班友
            
               

大部分AB测试终将失败。很衰是吧，没关系啦，唉。
               

一点小改也搞AB测试完全是在浪费绳命。
               

不要在一个很少人访问的页面上搞AB测试。
               

不要在测试尚未具备统计学意义的时候结束测试。什么时候结束，用这个神器
handy calculator
。
               

AB测试结果通常没法预料，不要用第六感。
            
            最大限度的利用你的测试
            这时候你可能已经想要结束AB测试了（或者是绝对不碰了）。我们也是这样想滴。它确实没有说的那么强大也不好操作，不是我们以为的那样好，但放弃它的威力还是于心不忍。为了最大限度的利用AB测试，我们是这样搞的：
            
               

你要常常问下你自己，“怎解我会觉得这一款页面会好点呢？”。这样会省下不少时间。
               

在一个页面上一次只测一个点。
               

可能会连续耗上几周，莫急，蛋定一点。
               

测试应该是连续的，写个
AB测试计划
吧。
            
            
            
        
   
英文原文：
Most of your AB-tests will fail
参与翻译(1人)：
echoyou
                       
                               
                    
                               
                       
                       
                       
                                时间:2013-06-22 08:46来源:开源中国社区 作者:oschina责任编辑:zhangkai

本文来自ChinaUnix新闻频道，如果查看原文请点：http://news.chinaunix.net/opensource/2013/0622/2819195.shtml