质量保证清单

云眼About 1 min

质量保证清单

介绍在云眼灰度发布(特性标帜)AB实验中启动实验之前,应采取的 QA 实验的步骤。

以下是启动实验的 QA 核对清单:

  1. 非生产环境中启动测试。
  2. 使用 QA 工具强迫自己进入每个体验。请参阅选择 QA 测试
  3. 触发测试正在跟踪的所有转化事件,并且这些事件与变体更改位于同一页面上。可能不需要测试预先存在的事件或漏斗下部事件,除非这些事件也发生了变化。
  4. 如果无法看到测试活动对“结果”页面的影响,这可能是由于 云眼 统计转化次数的方式所致。open in new window转化归因于第一个变体分配。
    可能需要在测试变体之间重置结果。
  5. 如果步骤 4 未产生预期的结果,请通过增加日志级别并咨询错误处理程序进行调试来进行故障排除。
  6. 对测试的每个变体重复步骤 2 到 5。
  7. 确认结果。结果页更新有 5 分钟的间隔,因此开发者可能需要等待最多 5 分钟才能更新。上次更新的时间显示在结果页面上。
  8. 重置实验结果,以便质量检查活动不会扭曲“结果”页面。
  9. 在生产环境中启动。
Last update:
Contributors: “zhangweixue”