怎样做AB测试?

AB测试怎么做,有哪些步骤呢?AB测试是一个闭环改进过程,可以分为:现状分析、假设建立、目标设置、界面设计、技术实现、数据采集、结果分析等7个步骤,如下图所示。无论是哪个平台:网站、App(Android、iOS)、后台应用,还是微信小程序,都可以参照这7个步骤来做。

云眼AB测试步骤
云眼AB测试步骤

1.现状分析

分析业务数据,确定当前最关键的改进点。关键改进点往往是随着时间在变化,例如应用刚上线的时候,流量可能是关键改进点;流量上来以后,注册率可能成为关键改进点;再后来,客户留存率成为关键改进点;业务平稳后,就要整个流程分析,找到木桶最短板 – 业务环节里最薄弱的地方,这个地方很可能是关键改进点。可以参照云眼A/B测试优化建议,借鉴别人的经验总结,找我们自己网站和App中可以改进和优化的方面。

2.方案建立

根据现状分析作出优化改进的假设。刚开始做A/B测试时,我们会感到迷茫,不知道该如何建立假设。其实假设的建立是一个很自然的过程。在数据分析的基础上确定关键改进点后,我们自然要去想改进的办法,这就是所谓的“假设”,因为它们还没有经过实际验证。一些我们原本认为不可行的办法,实际试验后可能效果显著;有些看似很好的办法,以及一些所谓的“最佳实践”,试验以后会发现在我们自己的应用里却没有效果。有了假设,我们就可以建立优化方案了。

3.设定目标

目标是我们优化某个页面或流程的目的,我们以目标转化率作为衡量A/B版本优劣的指标。比如一个商品的介绍页面,我们的优化目标是希望有更多的用户“点击购买按钮”,我们可以把“购买”按钮的点击率作为衡量页面效果的指标。一般来说,我们要设置多个目标,既有主目标,也有辅助目标。主目标是跟这个试验直接相关的指标,辅助目标是试验间接影响到的其他方面指标。

4.设计版本

制作出2个(或多个)优化版本的设计原型。基于假设,设计出优化版本的界面样式或流程。

5.技术实现

  • Web平台需要在页面中嵌入云眼JS脚本,然后通过云眼可视化编辑器制作出各个优化版本。
  • Android和iOS APP需要添加SDK,然后通过可视化编辑器制作各个优化版本。
  • 通过编辑器无埋点设置目标,如果编辑器不能实现,则需要手工编写代码。
  • 使用云眼平台分配流量。初始阶段,优化方案的流量设置可以较小,根据情况逐渐增加流量。

6.采集数据

通过云眼系统自动采集数据。云眼系统采集的数据除了目标转化数据,还包括:用户访问、行为数据、来源和出口、以及业务数据等。业务数据(如电商数据)根据客户的配置来决定是否采集。

7.分析结果

云眼AB测试要求统计显著性达到95%或以上并且维持一段时间,实验可以结束;如果在95%以下,则可能需要延长测试时间;如果很长时间统计显著性不能达到95%甚至90%,则需要决定是否中止试验。详细内容参见“怎样分析AB测试结果?”。

在统计学上的可信度确定以后,我们还要做业务分析。业务分析是基于行业领域知识,结合客户心理、使用习惯、直觉本能、爱好倾向等角度去分析,找到新旧版本优劣的真正原因。

数据分析
数据分析

经过以上7个步骤,一个AB测试试验就做完了,可以再开启新的AB测试循环。在实际的优化过程中,一个时间并非只有一个AB测试试验在跑,而是多个试验在并行。AB测试试验之间可能互相有影响,有依赖关系或排斥关系,我们在实际操作过程中需要注意,但只要使用云眼AB测试工具,这些问题都可以很方便的解决。

 

免费AB测试,注册即可开通使用! 立即开通

  1. 匿名用户 小云

    很详细的指导,一步步照着做,很快就掌握了要领。