运行 A/B 测试
运行 A/B 测试
如何在云眼灰度实验中设置简单的A / B或ON/OFF测试。
如果你不熟悉实验，你可以通过一个简单的测试来完成很多工作。此配置有一个标帜，其中包含两种变体：ON/OFF``A/B
一个“flag_on”变体
一个“flag_off”变体
限制
在标帜的规则集中，实验必须始终是第一个规则，并且必须是规则集中的唯一实验。换句话说，您一次只能为标帜运行一个实验。
📘 注意
每个标帜有多个实验目前处于测试阶段。如果希望加入测试版，请联系客户成功经理 （CSM）。有关详细信息，请参阅规则标帜之间的交互。
设置概述
要配置基本 A/B 测试，请执行以下操作：
（先决条件）创建标帜。
（先决条件）处理用户标识。
在云眼应用中创建和配置实验规则。请参阅：创建实验部分。
将云眼灰度实验应用生成的示例代码与应用程序集成。请参阅：实现测试部分。
在非生产环境中对实验进行 QA。请参阅 QA 和故障排除。
放弃任何 QA 用户事件，并在生产环境中启用实验。
创建实验
要在 云眼 应用中创建新实验，请执行以下操作：
- 导航到“标帜”，选择标帜，然后选择环境。
- 单击添加规则。
- 选择 A/B 测试。
- 通过以下步骤配置实验：
（可选）搜索并添加受众群体。要创建访问群体，请参阅目标访问群体。受众群体按照您拖放的顺序进行评估。可以选择是将每个用户匹配到任何受众群体条件，还是匹配所有受众群体条件。
设置百分比滑块，以分配要加入实验的受众群体的百分比。
📘 注意
如果计划在运行实验后更改流量，则需要在开始实验之前实现用户配置文件服务 UserProfileService。有关更多信息，请参阅 确保一致的用户分桶。
您更改流量的一个原因是如果使用的是统计加速器。
选择使用分发模式分发受众的方式。使用下拉列表选择以下任一选项：
- 手动 - 默认情况下，变体的流量分配相等。根据实验的要求自定义此值。
- 统计加速器 – 为了更快地获得统计显著性或最大化实验的回报，请使用 云眼 的机器学习引擎统计加速器。有关更多信息，请参阅使用统计信息加速器更快地获得统计显著性。有关何时使用统计信息加速器与运行多臂老虎机优化的信息，请参阅多臂老虎机与统计加速器。
选择要在实验中比较的标帜变体。对于基本实验，可以添加一个变体，其中标帜处于打开状态，另一个变体中标帜处于关闭状态。对于更高级的 A/B/n 实验，请使用多个标帜变量创建变体。无论您制作多少个变体，请保留一个带有灰度标帜的变体作为控件。有关创建变体的更多信息，请参阅创建标帜变体。
实施实验
如果已使用 Decide 方法实现了标帜，则无需执行进一步操作（云眼灰度实验 SDK 旨在为不同的标帜规则重用确切的标帜实现）。如果尚未实现该标帜，请将示例集成代码复制到应用程序代码中并对其进行编辑，以便功能代码根据从 云眼 收到的决策输出运行或不运行。
请记住，用户在是否被存储到给定的规则变体之前，会评估有序规则集中的每个标帜规则。有关详细信息，请参阅标帜规则之间的交互。
使用标帜变量进行测试
运行基本的“开/关”A/B 测试后，可以通过添加远程功能配置或标帜变量来提高实验的功能。
标帜变体使您能够避免在应用程序中硬编码变量。无需通过部署来更新变量，而是可以在云眼灰度实验应用中远程编辑它们。有关标帜变体的详细信息，请参阅标记变体。
要设置具有多个变体的 A/B 测试，请执行以下操作：