要计算泊松 (Poisson) 变量（也就是展示次数等可以直接计数的指标）的统计意义数值，我们首先需要定义几个变量：

• E = 实验组内的展示次数
• C = 对照组内的展示次数
• p = 随机移至实验组内的竞价百分比

然后，我们来计算 E 与 C 之间的差额相对于 C 的比例（即 ratio）以及如果您的实验没有进行任何更改，我们可能获得的值（即 expected_ratio）：

• ratio = (E-C) / C
• expected_ratio = (1 / (1-p)) – 2

求出 ratio 和 expected_ratio 的值之后，我们想知道这两个数字是否”有很大差异”。为此，我们首先需要计算指标的”标准偏差”（即指标的自然波动）：

• standard_deviation = (p / ( (C+E) * (1-p)^3 ))^0.5

接下来，我们来计算 ratio 与 expected_ratio 之间的差值，然后除以 standard_deviation，这个结果称为 z-score：

• z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后，基本上就算大功告成了，z-score 数值的大小表示两个指标有差异的可能性：

• 如果 z-score 大于 3.29，则实验提高该指标的可能性就是 99.9%（我们会以三个向上的箭头作为标记，方便您看出该指标上升的可能性很大）
• 如果 z-score 大于 2.57，实验内指标上升的可能性就是 99%（我们会以两个向上的箭头作为标记）
• 如果 z-score 大于 1.96，实验内指标上升的可能性就是 95%（我们会以一个向上的箭头作为标记）
• 如果 z-score 低于 -1.96，实验内指标下降的可能性就是 95%（我们会以一个向下的箭头作为标记）
• 如果 z-score 低于 -2.57，实验内指标下降的可能性就是 99%（我们会以两个向下的箭头作为标记）
• 如果 z-score 低于 -3.29，则实验降低该指标的可能性就是 99.9%（我们会以三个向下的箭头作为标记，方便您看出这一事实）

如果 z-score 值介于 -1.96 与 1.96 之间，实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动，所以我们将以中性图标来标记这种情况。

（请注意：如果对照组或实验组的展示次数都是 0，我们会自动将展示次数算作 1，以避免用 0 去除任何数字。另外，少数情况下会无法成功计算统计意义数值，此时我们会自动显示中性图标。最后，当广告系列在展示广告网络上投放时，标准偏差会有所增 加，这是因为当同一用户在短时间内重复加载同一网页时，对竞价的拆分可能会稍微偏离实验设置。）

要计算二项式 (Binomial) 变量（也就是点击率等用两个计数类指标相除所得到的百分比指标）的统计意义数值，我们首先需要定义几个变量：

• CTR_E = 实验组内的点击率
• CTR_C = 对照组内的点击率
• E = 实验组内的展示次数
• C = 对照组内的展示次数

然后，我们来计算 CTR_E 与 CTR_C 之间的比例（即 ratio）；而如果您的实验没有对该比率进行任何更改，我们获得的值（即 expected_ratio）就会是 1（由于您没有进行更改，点击率也应该保持不变）：

• ratio = (CTR_E / CTR_C)
• expected_ratio = 1

求出 ratio 和 expected_ratio 的值之后，我们想知道这两个数字是否”有很大差异”。为此，我们首先需要计算指标的”标准偏差”（即指标的自然波动）：

• standard_deviation=  ((CTR_E / CTR_C^3) * ((E*CTR_E)+(C*CTR_C)-(CTR_C*CTR_E)*(C+E))/(C*E)) ^ 0.5

接下来，我们来计算 ratio 与 expected_ratio 之间的差值，然后除以 standard_deviation，这个结果称为 z-score：

• z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后，基本上就算大功告成了，z-score 数值的大小表示两个指标有差异的可能性：

• 如果 z-score 大于 3.29，则实验提高该指标的可能性就是 99.9%（我们会以三个向上的箭头作为标记，方便您看出该指标上升的可能性很大）
• 如果 z-score 大于 2.57，实验内指标上升的可能性就是 99%（我们会以两个向上的箭头作为标记）
• 如果 z-score 大于 1.96，实验内指标上升的可能性就是 95%（我们会以一个向上的箭头作为标记）
• 如果 z-score 低于 -1.96，实验内指标下降的可能性就是 95%（我们会以一个向下的箭头作为标记）
• 如果 z-score 低于 -2.57，实验内指标下降的可能性就是 99%（我们会以两个向下的箭头作为标记）
• 如果 z-score 低于 -3.29，则实验降低该指标的可能性就是 99.9%（我们会以三个向下的箭头作为标记，方便您看出这一事实）

如果 z-score 值介于 -1.96 与 1.96 之间，实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动，所以我们将以中性图标来标记这种情况。

（请注意：如果对照组或实验组的展示次数都是 0，我们会自动将展示次数算作 1，以避免用 0 去除任何数字。另外，少数情况下会无法成功计算统计意义数值，此时我们会自动显示中性图标。最后，当广告系列在展示广告网络上投放时，标准偏差会有所增 加，这是因为当同一用户在短时间内重复加载同一网页时，对竞价的拆分可能会稍微偏离实验设置。）

要计算高斯 (Gaussian) 变量（也就是每次点击费用等可以有非整数值的连续指标）的统计意义数值，我们首先需要定义几个变量：

• Cost_E = 实验组内的总费用
• Cost_C = 对照组内的总费用
• Cost_square_E = 实验组内每个每次点击费用的总平方值
• Cost_square_C = 对照组内每个每次点击费用的总平方值
• E = 实验组内的点击次数
• C = 对照组内的点击次数
• CPC_E = 实验组的平均每次点击费用
• CPC_C = 对照组的平均每次点击费用

然后，我们来计算实验组和对照组的平均每次点击费用的相对差额（即  diff）；而如果您的实验没有对该指标进行任何更改，我们获得的值（即 expected_diff）就会是 0（由于您没有进行更改，每次点击费用会保持不变）：

• diff = 1 – (CPC_C/CPC_E)
• expected_diff = 0

求出 diff 和 expected_diff 的值之后，我们想知道这两个数字是否”有很大差异”。为此，我们首先需要计算指标的”标准偏差”（即指标的自然波动）：

• standard_deviation= (CPC_E^2 * (Cost_square_C – Cost_C^2 / C) / C^2 + CPC_C^2 * (Cost_square_E – Cost_E^2 / E) / E^2) / CPC_C^4) ^ 0.5

接下来，我们来计算 diff 与 expected_diff 之间的差值，然后除以 standard_deviation，这个结果称为 z-score：

• z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后，基本上就算大功告成了，z-score 数值的大小表示两个指标有差异的可能性：

• 如果 z-score 大于 3.29，则实验提高该指标的可能性就是 99.9%（我们会以三个向上的箭头作为标记，方便您看出该指标上升的可能性很大）
• 如果 z-score 大于 2.57，实验内指标上升的可能性就是 99%（我们会以两个向上的箭头作为标记）
• 如果 z-score 大于 1.96，实验内指标上升的可能性就是 95%（我们会以一个向上的箭头作为标记）
• 如果 z-score 低于 -1.96，实验内指标下降的可能性就是 95%（我们会以一个向下的箭头作为标记）
• 如果 z-score 低于 -2.57，实验内指标下降的可能性就是 99%（我们会以两个向下的箭头作为标记）
• 如果 z-score 低于 -3.29，则实验降低该指标的可能性就是 99.9%（我们会以三个向下的箭头作为标记，方便您看出这一事实）

如果 z-score 值介于 -1.96 与 1.96 之间，实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动，所以我们将以中性图标来标记这种情况。

（请注意：如果对照组或实验组的展示次数都是 0，我们会自动将展示次数算作 1，以避免用 0 去除任何数字。另外，少数情况下会无法成功计算统计意义数值，此时我们会自动显示中性图标。最后，当广告系列在展示广告网络上投放时，标准偏差会有所增 加，这是因为当同一用户在短时间内重复加载同一网页时，对竞价的拆分可能会稍微偏离实验设置。）