实战直播:召唤语优化试验

总结:

(2017年10月24日,今天19大闭幕)

本次试验统计显著性没能达到95%,原因看似流量不足,样本数不够,但是,仔细想一下,如果改进的幅度大一些,比如原始版本转化率6%,优化版本转化率达到9%(提高50%),需要多少访问样本量呢?720,这是一个很容易达到的数值,每天100个访问,一周就可以完成。

因此,创新!对于刚开始运营的网站和App,创新尤为重要。有云眼AB测试保驾护航,您尽可以放心大胆的创新,因为云眼能够让您快速准确的判断方向,确保每个创新都取得正向结果,而不是相反。

AB测试样本数量计算器2
AB测试样本数量计算器2

第12天:开始准备下一个试验

(2017年10月20日)

三个召唤语的转化率分别:6.5% : 7.2% : 5.8%。统计显著性:版本2是59.70%,版本3是63.20%,可信度不够。我们开始准备下一个试验。

AB测试结果_20171020
AB测试结果_20171020

第11天:重新估算,以便做出决策

(2017年10月19日)

三个召唤语的转化率分别:6.5% : 5.6% : 5.8%,原始版本领先。但是统计显著性:版本2是63.62%,版本3是61.95%,可信度不够。统计显著性达到95%需要多少时间呢?

AB测试结果_20171019
AB测试结果_20171019

我们只要计算一下需要多少流量,然后除以每天的流量,就知道要用多少天了。

可以用云眼AB测试小工具中的AB测试样本数量计算器来计算一下,发现每个版本需要11,000个访客样本,积累这么多样本对于目前的云眼平台还是需要很多时间,既然如此,我们就只能接受不可靠的结果了。

AB测试样本数量计算器
AB测试样本数量计算器

第10天:看似有区别,但可靠度不够

(2017年10月18日)

三个召唤语的转化率分别:6.5% : 6.2% : 5.5%,区别还是有的,但是,统计显著性:版本2是53.82%,版本3是65.57%,可信度不够。继续试验到本周末看情况怎样。

AB测试结果_20171018
AB测试结果_20171018

第9天:没有区别,也是一个结论

(2017年10月17日)

三个召唤语的转化率分别:6.2% : 5.6% : 6.0%,彼此比较接近。统计显著性:版本2是58.96%,版本3是53.68%。未来几天如果数据继续这样,说明三个召唤语区别不大,对客户的影响没有显著差异。我们再试验几天看。

AB测试结果_20171017
AB测试结果_20171017

第8天:分析原因,反思教训

(2017年10月16日)

三个召唤语的转化率分别:6.0% : 3.7% : 6.2%。统计显著性:版本2是81.83%,版本3是53.95%,局势仍不明朗。这个试验可能需要比较长的时间了,原因主要两方面:1)三个召唤语很相似,区别不大,可能对客户的影响真的没有区别;2)云眼毕竟是2B的网站,不如2C的网站流量大,所以需要较长的时间积累样本。

这次也得到一个教训,本来网站流量不是很大,却同时3个版本对比试验,每个版本流量更少,因而需要更长的时间。下次试验,只做两个版本的对比就可以了。

AB测试结果_20171016
AB测试结果_20171016

第5天:完善设置,排除干扰数据

(2017年10月13日)

A/B测试一般是在用户不觉察的情况下进行,但是前面几天很多来自微信朋友圈的访客,已经知道自己在参与试验,这样的数据对试验结果可能有干扰。我们现在对试验设置做一些修改,变为仅对PC访客进行试验。同时,我们加大搜索引擎广告投放,引流量,扩大样本数据。由于我们能够排除干扰数据,所以请大家不要顾虑,继续尽情转发!

我们这次试验的一个重要目的是让更多人了解A/B测试和A/B测试的实施过程。无论本次试验的结果如何,这个目的或多或少会实现。

目前,三个召唤语的转化率分别:6.3% : 4.1% : 5.3%。统计显著性仍然徘徊在60%~80%之间,局势依然不明朗。

AB测试结果_20171013
AB测试结果_20171013

 

第4天:样本不足,需要继续积累

(2017年10月12日)

目前,三个召唤语的转化率分别:5.0% : 4.6% : 5.6%。统计显著性很低,局势仍然不明朗,主要原因是样本数据不够。希望大家继续转发!

AB测试结果_20171012
AB测试结果_20171012

第3天:混沌未开,结果需耐心等待

(2017年10月11日)

首先再次感谢大家的热情转发,云眼网站今天访问量再创新高!

AB测试结果_20171011
AB测试结果_20171011

截止目前,三个召唤语的转化率分别是:5.3%,5.6%,6.2%,第三个召唤语暂时领先。但是,由于统计显著性数值(53.31%和60.92%)都低于95%,结果仍是不可信的。
这里解释一下“统计显著性”,它是统计学里的一个概念,表示两个样本数据有显著区别的可信度。统计显著性需要在95%以上,才表明两组样本数据有显著区别是可信的。
试验什么时候可以结束呢?统计显著性超过95%并能够保持,就可以结束试验了。
如果试验做了很长时间,但统计显著性总是无法达到95%,怎么办?这说明A、B两个方案没有区别,只能中止了。我们本次试验也不排除出现这种情况。
样本量越大,得出结论的速度就越快,烦请大家继续努力转发!

三个召唤语每天转化率变化趋势图如下所示。

转化率趋势图_20171011
转化率趋势图_20171011

【问】这个召唤语是不同版本的网页吗还是什么?

【答】是三个版本的网页,用一个地址,有的人看到的是版本1,有的人看到的是版本2,有的人看到的是版本3。

【问】试验实施起来麻烦吗?

【答】用云眼完成这个试验的配置只需要5分钟。

【问】所有的都能做?猪八戒网店这些也能测试吗?

【答】我们即将推出一个新产品,用这个产品你可以把猪八戒网店页面改出多个版本,然后发布到朋友圈、聊天群、qq群、微博等,试验看哪个版本好,找到好的版本后,你就可以照着修改猪八戒的店铺了。任何平台上的网页都支持:淘宝、京东上的产品介绍,苹果应用商店的app介绍等等。

 

第2天:圈内热转,访问量暴增

(2017年10月10日)

AB测试结果_20171009
AB测试结果_20171009

感谢大家的热情转发,云眼网站访问量今天暴增!

从今天的试验结果看,3个召唤语的转化率分别是:7.5%,9.7% ,5.6%。第2个召唤语暂时领先。以第1个召唤语为基准,另外2个召唤语的统计显著性目前只有62.65%和64.57%,说明结果的随机性很大,还不能得出可靠的结论。

希望本试验能够在2~4周得出较可靠的结论,敬请大家耐心等待。

由于3个召唤语的区别不是很大,因此需要比较多的样本数据,再次烦请大家努力转发!

 

第1天: 灵光闪现,三个召唤语开始PK

(2017年10月9日)

A/B测试实战上演,三个召唤语大PK,哪一个是胜者?我们拭目以待!

创意满怀,何不一试?
vs
好创意还不试一试?
vs
好创意快来试!

请将云眼官网尽可能多的转发给:
互联网市场推广、运营、产品经理、数据分析师和开发工程师
看他们对哪个召唤语最有反应!

今天开始实施A/B测试,优化业务! 立即注册