更改云眼实验中的统计显著性设置

本主题介绍如何：

• 决定是否更改项目的统计显著性设置
• 查找并调整项目的统计显著性设置

当运行实验时，云眼实验的统计引擎会不断分析结果，以确定结果是否具有统计显著性：对结果实际反映访问者行为变化（而不仅仅是噪音或随机性）的置信度。使用统计显著性设置，可以设置项目范围的意义水平，在该级别上，希望云眼实验在“结果”页面上声明显著结果（成功和失败）。

更改统计显著性设置的权衡

了解与更改统计显著性设置相关的某些权衡。通常，较高的显著性设置越准确，会增加云眼实验声明显著结果所需的时间，因为它需要更大的样本量。较低的统计显著性水平会减少声明显著结果所需的时间，但降低统计显著性设置也会增加某些结果为误报的可能性。

更改统计显著性设置将立即影响当前正在运行的所有实验。 如果实验的目标具有 85% 的统计显著性获胜者，并且将统计显著性设置从 90% 更改为 80%，则下次加载结果页面时，将看到获胜者 （85% > 80%）。差分区间也将缩小，以反映对置信度的需求减少。

更改统计显著性设置

统计显著性设置列在高级设置下。调整设置后，向下滚动并单击保存等待几分钟，让新设置生效。

总结

• 在结果页面中，主要目标统计显著性的计算独立于所有其他目标。
• 主要目标不受次要目标的影响，次要目标不受主要目标的影响。
  • 如果添加了许多几乎没有改进的目标和版本，那么在所有次要目标上达到重要性将需要更长的时间。
  • 如果添加具有较大改进的目标和版本，则可以更轻松地（更快地）找到整体赢家和输家。
  • 如果所有的目标和变化都有大致相同的改进，那么无论团队有多大，找到赢家和输家都需要大致相同的时间。
  • 这消除了与测试更多目标和变化相关的隐藏风险，因为无论测试多少，都会看到正确调整的统计显著性。
• 当更换主要目标时，这本身实际上不会触发将此目标的结果重新计算为新的主要目标。