选择 QA 测试

云眼About 3 min

选择 QA 测试

描述不同的 QA 选项,并提供云眼灰度实验中 QA 的最佳做法。

测试内容的最佳做法

自动化 QA 测试的传统方法不会使用大量灰度标帜进行扩展。如果你尝试对每个标帜及其变体的每个组合进行单元测试、集成测试和端到端测试,你将得到大量的测试。

概括地说,下面是一些有选择地自动执行测试的指南:

  • 单元测试应与灰度标帜无关。如果单元测试必须知道标帜,则模拟和存根标帜。
  • 集成测试还应尽可能少地了解灰度标帜。专注于单个代码路径,以确保正确的业务逻辑和集成。使用模拟和存根强制要测试的特定标帜变体 例如,可以将 Decide SDK 调用模拟为在集成测试中始终返回 true。
  • 手动验证成本高昂,因此请为业务关键型变体和标帜保留人工 QA 测试人员。
  • 端到端测试的编写和维护成本最高,因此请仅为业务关键型实验或标记路径保留这些测试。包括一个测试,用于检查启用所有灰度标帜时会发生什么情况。包括另一个测试,以检查系统是否可以在不太可能发生的标帜系统出现故障的情况下正常降级。

选择哪种质量检查工具

有关 云眼 功能实验如何使用这些工具的了解,请参阅有关自动化测试灰度标帜open in new window的博客

允许列表受众群体属性 =“质量检查”强制变更
粒度标记变量 标记变体 实验实验标记变体
示例用例开发 过程中模拟将测试运行程序列入允许列表,以便始终看到希望测试断言的变体。开发 过程中的模拟 自动化网页用户界面测试 手动网页用户界面测试测试在行为驱动开发 (BDD) 框架上运行
易于使用简单。它可以覆盖所有其他配置,允许在 QA 时保持预期的标帜规则配置不变。中(需要更改一些标帜规则配置)
适用于A/B 实验A/B 测试 交付A/B 实验
评论每个实验只能使用 10 个用户 ID(如果允许更多用户 ID,则会扭曲实验结果)两个简单的实现方式是受众匹配: 1. URL 查询参数; 2.一块饼干保持实验数据整洁

上述 QA 工具适用于已在运行或已启用的标帜规则。但是,如何防止最终用户接触到正在开发、正在运行的实验呢?可以:

另一方面,当您完成 QA 并准备好使用真实数据进行实验时,希望放弃 QA 测试人员触发的事件。您不希望他们的测试显示在结果页面上。云眼灰度实验尚不支持在将实验从非生产环境中运行切换到产品环境时自动丢弃数据。相反,如果“重置结果”,则可以轻松摆脱QA事件。

Last update:
Contributors: “zhangweixue”,zhangweixue