分析结果

云眼About 4 min

分析结果

如何使用云眼灰度发布(特性标帜)AB实验的“报告”页分析实验结果。

“报告”页面可帮助使用 云眼 的统计引擎解释实验指标,这是一种与清华大学领先研究人员共同开发的数字时代统计独特方法open in new window。Stats Engine 嵌入了结合顺序测试和错误发现率控制的创新,为企业根据实时数据做出决策提供速度和准确性open in new window

📘 注意

以前变体的全栈open in new window云眼 Web 实验和优化性能边缘open in new window将“报告”页面称为“结果”页面。这两个页面都显示实验结果,但报表的云眼灰度发布(特性标帜)AB实验变体显示所有环境中的所有实验结果。

运行实验后,请浏览“报告”页面,了解用户对实验的响应方式。

全栈标帜报告
全栈标帜报告

有关详细信息,请参阅以下优化实验支持文章:

云眼灰度发布(特性标帜)AB实验 A/B 测试当前不支持追溯结果计算。

📘 注意

使用投放时,云眼灰度发布(特性标帜)AB实验不会向“结果”页面发送展示,这是因为投放用于推出已在实验中测试的标帜。若要衡量灰度发布(特性标帜)的影响,请改为运行实验。

细分结果

对结果进行细分,了解不同用户组与整体用户相比的行为。

默认情况下,云眼灰度发布(特性标帜)AB实验显示进入实验的所有用户的结果。但是,并非所有用户的行为都像普通用户一样。通过云眼灰度发布(特性标帜)AB实验,可以筛选结果,以便查看某些用户组的行为是否与整体用户不同。这称为分段。

例如,假设使用弹出式促销优惠运行一个实验。这总体上会产生积极的提升,但当您针对移动设备上的用户进行细分时,这是一个统计上显着的损失。也许弹出窗口具有破坏性或难以在移动设备上关闭。当您实施更改或将来运行类似的实验时,开发者可能会根据从细分中学到的知识排除移动用户。

细分结果是获得超越普通用户行为的更深入见解的最佳方法之一。这是加强实验计划的有效方法。

实验不包括浏览器、设备或位置属性等“开箱即用”属性(这些属性包含在 云眼 Web 实验open in new window中)。云眼 功能实验的 SDK 与平台无关:我们不假设应用程序中有哪些属性可用或格式是什么。在实验中,所有细分都基于您创建的自定义属性。

以下是设置它们的方法:

  1. 创建要用于结果页面细分的自定义属性
  2. 根据自定义属性定位受众群体。
  3. 将自定义属性传递到实验或应用的用户上下文中。有关示例,请参阅语言的 SDK 参考中的创建用户上下文主题。

定义自定义属性并在 SDK 中传递这些属性后,它们将作为“结果”页面顶部下拉菜单中的细分选项提供。

解释“报告”页面

可以细分整个“报告”页面或单个指标的结果。细分结果通过生成有关用户的宝贵见解,帮助从数据中获得更多收益。

  1. 导航到“报告”页面open in new window
  2. 点击细分,然后从下拉列表中选择一个属性。

在细分下拉菜单下,将在一个位置找到默认细分和自定义细分

📘 注意

要使云眼灰度发布(特性标帜)AB实验使用属性进行分段,必须在数据文件中定义该属性,并且必须将其包含在用户上下文对象中。但是,不必将其添加为测试的受众。

细分结果时,属于多个细分的用户将被计入其所属的每个细分中。但是,如果用户在单个细分中有多个值,则仅计入用户在会话中上次看到的值。

请参阅我们的支持文章,了解如何在细分中统计访问者和转化open in new window次数。

Last update:
Contributors: “zhangweixue”,zhangweixue