云眼AB测试帮助我买网优化消息推送

消息推送的文案选择

中粮我买网是由世界500强企业中粮集团有限公司于2009年投资创办的食品类B2C电子商务网站。商品包括:食品、粮油、酒水、茶叶等百种品类。是办公室白领、居家生活和年轻一族的首选食品网络购物网站。我买网手机客户端有时会在通知栏中推送一些商品促销、购物指南的消息,以此来吸引用户点击,从而提高用户粘性并带来业务上的提升。当运营团队在设计推送消息的文案时,总是会有很多不一样的想法,内部有时就会提出好几个版本。为此,我买网的运营团队决定使用AB测试来选出一个最优的文案。

 

 

参数化方法进行AB测试

这次的AB测试采用了全栈API的方案,通过参数化的方式把推送消息的文案变成一个变量,最后在云眼控制台中为各个版本设置对应的变量值。在试验刚刚开始的时候,选择了1%的全网流量进行试验,各版本均分流量。当测试进行了一段时间后,运营团队决定把实验流量增加到5%。由于消息推送的特殊性,试验只进行了一天的时间(活动只持续了一周,活动结束后再拿到结果就没有意义了)。

 

 

结果表明,最好文案比最差文案的点击率要高出42%。统计显著性指标的结果也超过了95%,试验可以认定为有效。所以,在活动开始后的第二天,我买网使用最优版本的文案在全网推送了消息。

 

免费AB测试,注册即可开通使用! 立即开通