怎样分析AB测试结果?

AB测试结果分析包括统计学分析业务分析两个部分。

统计学分析

统计学分析是为了确定AB测试结果在统计学角度是否可信。分析时我们首先关注A、B版本对用户行为的影响是否有差别,这通过统计显著性来反映。确定有差别后,我们再看差别有多大,改进效果表示转化率提高(或降低)的幅度,差异区间表示转化率改进的最可能范围。下面我们分别解释各项指标的含义。

统计显著性:优化版本和原始版本之间转化率存在差异的可能性或可信度,数值上等于1减去统计学假设检验中的P值p-value),P值表示样本间的差异由随机因素所导致的概率。

对于上图中目标“homepage注册”,原始版本的转化率为16.8%,优化版本的为18.2%,统计显著性为83.99%,即两个版本之间转化率的差异有83.99%的可能性是由于优化版本的改动造成。

统计显著性数值所代表的含义:

  1. ≥95%:优化版本和原始版本之间有显著的统计差异,转化率的“改进”是可信的;
  2. 90%~95%:优化版本和原始版本之间的统计差异存有疑问,转化率的“改进”是存有疑问的;
  3. <90%:优化版本和原始版本之间没有显著的统计差异,转化率的“改进”是不可信的;

一般来说,统计显著性要大于95%才认为A/B测试结束,但是,统计显著性达到95%有时需要很长的测试周期,考虑到机会成本,比如为了尽快推出新特性抢占市场先机,统计显著性达到90%也是可以接受的,但需要知道这是有一定风险的。

一种情况,在测试过程中,有时统计显著性可能达到了95%,但继续测试,发现统计显著性又会降到95%以下,因此在统计显著性达到95%后,仍需要继续测试一段时间,发现显著性能够持续保持在95%以上,才可以结束测试。统计显著性的变化趋势如下图所示。

统计显著性-显著
统计显著性-差异显著

另一种情况,在测试过程中统计显著性始终不能达到90%,也就是两个版本对用户影响的差异不明显,我们观察一段时间后,只能结束测试。统计显著性的变化趋势如下图所示。

统计显著性_差异不显著
统计显著性_差异不显著

 

改进效果:(优化版本转化率 – 原始版本转化率)/ 原始版本转化率,表示优化版本与原始版本相比,转化率提高的幅度。

差异区间:优化版本与原始版本之间转化率差异的置信区间,或者说是最可能分布的区间范围。

注意,差异区间用转化率差异的绝对值表示,而不是相对比率。例如,原始版本的转化率为10%,优化版本的转化率为11%,则转化率的绝对差异为1%,而转化率的相对差异为10%(也就是优化版本相对原始改进了10%)。

上图中目标“homepage注册”优化版本#1的转化率19.6%是有随机误差的,随着A/B测试的继续进行,转化率的数值会有一个变化范围。

准确来说,原始版本与优化版本#1之间转化率的差异在 -1.64%和 +3.50%之间,也就是说优化版本#1的转化率最可能在(18.7% – 1.64%)= 17.06%和(18.7% + 3.50%)= 22.2%之间。通过差异区间来了解优化版本转化率的可能范围,以便做进一步优化。

 

业务分析

在统计学上的可信度确定以后,我们还要对AB测试结果做业务分析。业务分析是为了找到优化版本比原始版本好或差的真正原因,是AB测试结果分析的重要部分。我们要基于自己所从事行业的业务领域知识,结合客户心理、使用习惯、直觉本能、喜好倾向等角度来分析,把数字后面的道理挖掘出来,用来更好指导我们未来的行动。

 

其他指标说明

云眼A/B测试结果面板,还包含独立访客数、访问数、转化数、转化率等指标。

独立访客数:某段时间内访问Web应用、APP的用户数或设备数。

  • Web应用:未登录用户可以通过用户的浏览器Cookie、IP地址、设备分辨率、浏览器型号、操作系统等信息判断用户是否为独立访客。比如用户在某段时间内使用不同的浏览器或不同的设备访问应用,将记为多个独立访客。已登录用户,可以通过用户ID识别独立访客数。
  • APP:未登录可以通过用户移动设备的型号、操作系统、品牌、分辨率、IP地址等信息来判断用户是否为独立访客。已登录用户,可以通过用户ID识别独立访客数。

访问数:用户使用应用的次数,如果用户连续两次请求界面的时间间隔不超过30分钟,则按1次访问计算;否则,就是2次访问。

转化数:用户触发某个目标的次数,在1次访问中,如果这个目标被触发多次,该目标的转化数只按1次计算。

转化率:转化数 / 访问数,云眼转化率的计算是以访问数为基数,而不是访客数。

 

免费AB测试,注册即可开通使用! 立即开通

  1. 云眼客户 小云

    这篇文章太有用了,看了以后对云眼AB测试的很多概念都明白了,加收藏栏里,以备常用!