运行 A/B 测试

云眼About 5 min

运行 A/B 测试

如何在云眼灰度发布(特性标帜)AB实验中设置简单的A / B或ON/OFF测试。

如果你不熟悉实验,你可以通过一个简单的测试来完成很多工作。此配置有一个标帜,其中包含两种变体:ON/OFF``A/B

  • 一个“flag_on”变体

  • 一个“flag_off”变体

限制

在标帜的规则集中,实验必须始终是第一个规则,并且必须是规则集中的唯一实验。换句话说,您一次只能为标帜运行一个实验。

📘 注意

每个标帜有多个实验目前处于测试阶段。如果希望加入测试版,请联系客户成功经理 (CSM)。有关详细信息,请参阅规则标帜之间的交互

设置概述

要配置基本 A/B 测试,请执行以下操作:

  1. (先决条件)创建标帜

  2. (先决条件)处理用户标识

  3. 在云眼应用中创建和配置实验规则。请参阅:创建实验部分。

  4. 将云眼灰度发布(特性标帜)AB实验应用生成的示例代码与应用程序集成。请参阅:实现测试部分。

  5. 在非生产环境中对实验进行 QA。请参阅 QA 和故障排除

  6. 放弃任何 QA 用户事件,并在生产环境中启用实验。

创建实验

要在 云眼 应用中创建新实验,请执行以下操作:

  1. 导航到“标帜”,选择标帜,然后选择环境。
  2. 单击添加规则
添加规则
添加规则
  1. 选择 A/B 测试
  2. 通过以下步骤配置实验:
配置 A/B 实验规则
配置 A/B 实验规则
  1. (可选)搜索并添加受众群体。要创建访问群体,请参阅目标访问群体。受众群体按照您拖放的顺序进行评估。可以选择是将每个用户匹配到任何受众群体条件,还是匹配所有受众群体条件。

  2. 设置百分比滑块,以分配要加入实验的受众群体的百分比。

📘 注意

如果计划在运行实验后更改流量,则需要在开始实验之前实现用户配置文件服务 UserProfileService。有关更多信息,请参阅 确保一致的用户分桶

您更改流量的一个原因是如果使用的是统计加速器。

  1. 根据跟踪的用户事件添加指标。请参阅创建事件以创建和跟踪事件。有关选择指标的更多信息,请参阅选择指标

  2. 选择使用分发模式分发受众的方式。使用下拉列表选择以下任一选项:

    1. 手动 - 默认情况下,变体的流量分配相等。根据实验的要求自定义此值。
    2. 统计加速器 – 为了更快地获得统计显著性或最大化实验的回报,请使用 云眼 的机器学习引擎统计加速器。有关更多信息,请参阅使用统计信息加速器更快地获得统计显著性open in new window。有关何时使用统计信息加速器与运行多臂老虎机优化的信息,请参阅多臂老虎机与统计加速器open in new window
  3. 选择要在实验中比较的标帜变体。对于基本实验,可以添加一个变体,其中标帜处于打开状态,另一个变体中标帜处于关闭状态。对于更高级的 A/B/n 实验,请使用多个标帜变量创建变体。无论您制作多少个变体,请保留一个带有灰度发布(特性标帜)的变体作为控件。有关创建变体的更多信息,请参阅创建标帜变体

实施实验

如果已使用 Decide 方法实现了标帜,则无需执行进一步操作(云眼灰度发布(特性标帜)AB实验 SDK 旨在为不同的标帜规则重用确切的标帜实现)。如果尚未实现该标帜,请将示例集成代码复制到应用程序代码中并对其进行编辑,以便功能代码根据从 云眼 收到的决策输出运行或不运行。

请记住,用户在是否被存储到给定的规则变体之前,会评估有序规则集中的每个标帜规则。有关详细信息,请参阅标帜规则之间的交互

使用标帜变量进行测试

运行基本的“开/关”A/B 测试后,可以通过添加远程功能配置或标帜变量来提高实验的功能。

标帜变体使您能够避免在应用程序中硬编码变量。无需通过部署来更新变量,而是可以在云眼灰度发布(特性标帜)AB实验应用中远程编辑它们。有关标帜变体的详细信息,请参阅标记变体

要设置具有多个变体的 A/B 测试,请执行以下操作:

  1. 创建并配置基本 A/B 测试。请参阅前面的步骤。
  2. 创建包含多个变量的标帜变体。请参阅创建标帜变体
  3. 将示例代码与应用程序集成。请参阅实现标帜变体
Last update:
Contributors: “zhangweixue”,zhangweixue