什么是 AdWords 广告系列实验 › 什么是有统计意义?

五月 9th, 2011 Categories: 知识原野

AdWords帮助文章您的广告与广告系列广告系列与广告组什么是 AdWords 广告系列实验 › 什么是有统计意义?

什么是有统计意义?

统计意义上的差异不太可能是偶然产生的。如果指标没有发生统计意义上的数量变化,可能表示您的实验性更改对该指标没有影响力。请注意,即便统计意义上的差异对您的企业可能不重要,您在评估结果时也应考虑这些因素。

例如:在一个实验中,您可能会发现每次转化费用在统计意义上的差异比较明显(例如人民币 20.32 元对 20.24 元),不过这 0.08 元的差异可能对您的企业来说并不重要。

反之,如果您看到的数字差异很重要,但不具统计意义,我们建议您先不要急着做出判断,因为这可能是碰巧出现的结果。如果真的存在差异,随着您运行实验的时间加长,有统计意义的结果就会开始出现。

我们会记录三种级别的统计意义结果;看到的箭头越多,结果就越有可能归因于实验性更改,而不是碰巧:

  • 一个(向上或向下)箭头表示:指标提升或下降,有 5% 的可能性要归结为碰巧,而非实验性更改。
  • 两个箭头表示可能性为 1%
  • 三个箭头表示可能性为 0.1%

要进一步了解详情,请参阅以下章节。 计算展示次数、点击次数及转化次数等”计数类”指标的统计意义数值

要计算泊松 (Poisson) 变量(也就是展示次数等可以直接计数的指标)的统计意义数值,我们首先需要定义几个变量:

  • E = 实验组内的展示次数
  • C = 对照组内的展示次数
  • p = 随机移至实验组内的竞价百分比

然后,我们来计算 E 与 C 之间的差额相对于 C 的比例(即 ratio)以及如果您的实验没有进行任何更改,我们可能获得的值(即 expected_ratio):

  • ratio = (E-C) / C
  • expected_ratio = (1 / (1-p)) – 2

求出 ratio 和 expected_ratio 的值之后,我们想知道这两个数字是否”有很大差异”。为此,我们首先需要计算指标的”标准偏差”(即指标的自然波动):

  • standard_deviation = (p / ( (C+E) * (1-p)^3 ))^0.5

接下来,我们来计算 ratio 与 expected_ratio 之间的差值,然后除以 standard_deviation,这个结果称为 z-score

  • z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后,基本上就算大功告成了,z-score 数值的大小表示两个指标有差异的可能性:

  • 如果 z-score 大于 3.29,则实验提高该指标的可能性就是 99.9%(我们会以三个向上的箭头作为标记,方便您看出该指标上升的可能性很大)
  • 如果 z-score 大于 2.57,实验内指标上升的可能性就是 99%(我们会以两个向上的箭头作为标记)
  • 如果 z-score 大于 1.96,实验内指标上升的可能性就是 95%(我们会以一个向上的箭头作为标记)
  • 如果 z-score 低于 -1.96,实验内指标下降的可能性就是 95%(我们会以一个向下的箭头作为标记)
  • 如果 z-score 低于 -2.57,实验内指标下降的可能性就是 99%(我们会以两个向下的箭头作为标记)
  • 如果 z-score 低于 -3.29,则实验降低该指标的可能性就是 99.9%(我们会以三个向下的箭头作为标记,方便您看出这一事实)

如果 z-score 值介于 -1.96 与 1.96 之间,实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动,所以我们将以中性图标来标记这种情况。

(请注意:如果对照组或实验组的展示次数都是 0,我们会自动将展示次数算作 1,以避免用 0 去除任何数字。另外,少数情况下会无法成功计算统计意义数值,此时我们会自动显示中性图标。最后,当广告系列在展示广告网络上投放时,标准偏差会有所增 加,这是因为当同一用户在短时间内重复加载同一网页时,对竞价的拆分可能会稍微偏离实验设置。)

计算点击率、转化率等”百分比”指标的统计意义数值

要计算二项式 (Binomial) 变量(也就是点击率等用两个计数类指标相除所得到的百分比指标)的统计意义数值,我们首先需要定义几个变量:

  • CTR_E = 实验组内的点击率
  • CTR_C = 对照组内的点击率
  • E = 实验组内的展示次数
  • C = 对照组内的展示次数

然后,我们来计算 CTR_E 与 CTR_C 之间的比例(即 ratio);而如果您的实验没有对该比率进行任何更改,我们获得的值(即 expected_ratio)就会是 1(由于您没有进行更改,点击率也应该保持不变):

  • ratio = (CTR_E / CTR_C)
  • expected_ratio = 1

求出 ratio 和 expected_ratio 的值之后,我们想知道这两个数字是否”有很大差异”。为此,我们首先需要计算指标的”标准偏差”(即指标的自然波动):

  • standard_deviation=  ((CTR_E / CTR_C^3) * ((E*CTR_E)+(C*CTR_C)-(CTR_C*CTR_E)*(C+E))/(C*E)) ^ 0.5

接下来,我们来计算 ratio 与 expected_ratio 之间的差值,然后除以 standard_deviation,这个结果称为 z-score

  • z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后,基本上就算大功告成了,z-score 数值的大小表示两个指标有差异的可能性:

  • 如果 z-score 大于 3.29,则实验提高该指标的可能性就是 99.9%(我们会以三个向上的箭头作为标记,方便您看出该指标上升的可能性很大)
  • 如果 z-score 大于 2.57,实验内指标上升的可能性就是 99%(我们会以两个向上的箭头作为标记)
  • 如果 z-score 大于 1.96,实验内指标上升的可能性就是 95%(我们会以一个向上的箭头作为标记)
  • 如果 z-score 低于 -1.96,实验内指标下降的可能性就是 95%(我们会以一个向下的箭头作为标记)
  • 如果 z-score 低于 -2.57,实验内指标下降的可能性就是 99%(我们会以两个向下的箭头作为标记)
  • 如果 z-score 低于 -3.29,则实验降低该指标的可能性就是 99.9%(我们会以三个向下的箭头作为标记,方便您看出这一事实)

如果 z-score 值介于 -1.96 与 1.96 之间,实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动,所以我们将以中性图标来标记这种情况。

(请注意:如果对照组或实验组的展示次数都是 0,我们会自动将展示次数算作 1,以避免用 0 去除任何数字。另外,少数情况下会无法成功计算统计意义数值,此时我们会自动显示中性图标。最后,当广告系列在展示广告网络上投放时,标准偏差会有所增 加,这是因为当同一用户在短时间内重复加载同一网页时,对竞价的拆分可能会稍微偏离实验设置。)

计算每次点击费用、平均排名等”连续”指标的统计意义数值。

要计算高斯 (Gaussian) 变量(也就是每次点击费用等可以有非整数值的连续指标)的统计意义数值,我们首先需要定义几个变量:

  • Cost_E = 实验组内的总费用
  • Cost_C = 对照组内的总费用
  • Cost_square_E = 实验组内每个每次点击费用的总平方值
  • Cost_square_C = 对照组内每个每次点击费用的总平方值
  • E = 实验组内的点击次数
  • C = 对照组内的点击次数
  • CPC_E = 实验组的平均每次点击费用
  • CPC_C = 对照组的平均每次点击费用

然后,我们来计算实验组和对照组的平均每次点击费用的相对差额(即  diff);而如果您的实验没有对该指标进行任何更改,我们获得的值(即 expected_diff)就会是 0(由于您没有进行更改,每次点击费用会保持不变):

  • diff = 1 – (CPC_C/CPC_E)
  • expected_diff = 0

求出 diff 和 expected_diff 的值之后,我们想知道这两个数字是否”有很大差异”。为此,我们首先需要计算指标的”标准偏差”(即指标的自然波动):

  • standard_deviation= (CPC_E^2 * (Cost_square_C – Cost_C^2 / C) / C^2 + CPC_C^2 * (Cost_square_E – Cost_E^2 / E) / E^2) / CPC_C^4) ^ 0.5

接下来,我们来计算 diff 与 expected_diff 之间的差值,然后除以 standard_deviation,这个结果称为 z-score

  • z-score = (ratio – expected_ratio) / standard_deviation

这一步完成之后,基本上就算大功告成了,z-score 数值的大小表示两个指标有差异的可能性:

  • 如果 z-score 大于 3.29,则实验提高该指标的可能性就是 99.9%(我们会以三个向上的箭头作为标记,方便您看出该指标上升的可能性很大)
  • 如果 z-score 大于 2.57,实验内指标上升的可能性就是 99%(我们会以两个向上的箭头作为标记)
  • 如果 z-score 大于 1.96,实验内指标上升的可能性就是 95%(我们会以一个向上的箭头作为标记)
  • 如果 z-score 低于 -1.96,实验内指标下降的可能性就是 95%(我们会以一个向下的箭头作为标记)
  • 如果 z-score 低于 -2.57,实验内指标下降的可能性就是 99%(我们会以两个向下的箭头作为标记)
  • 如果 z-score 低于 -3.29,则实验降低该指标的可能性就是 99.9%(我们会以三个向下的箭头作为标记,方便您看出这一事实)

如果 z-score 值介于 -1.96 与 1.96 之间,实验未使指标出现升降的几率从 5% 到 100% 都有可能。因为很难说这个指标会不会实际变动,所以我们将以中性图标来标记这种情况。

(请注意:如果对照组或实验组的展示次数都是 0,我们会自动将展示次数算作 1,以避免用 0 去除任何数字。另外,少数情况下会无法成功计算统计意义数值,此时我们会自动显示中性图标。最后,当广告系列在展示广告网络上投放时,标准偏差会有所增 加,这是因为当同一用户在短时间内重复加载同一网页时,对竞价的拆分可能会稍微偏离实验设置。)

Tags: , ,
尚无评论.

留言回复