A/B实验之置信检验（一）：如何避免误判 (I类) 和漏报 (II类)

`假设检验的依据：如何避免误判和漏报`

A/B实验系列相关文章（置顶）

1.A/B实验之置信检验（一）：如何避免误判和漏报
2.A/B实验之置信检验（二）：置信检验精要

引言

在数据驱动决策的时代，假设检验作为一种重要的统计方法，帮助我们在不确定性中做出明智的选择。无论是评估新推荐算法的效果，还是测试市场营销策略的成功与否，假设检验都是确保结论可靠性的关键步骤。本文将详细介绍假设检验的基础知识、常见误区及其在实际中的应用。

在这里插入图片描述

一、什么是假设检验？

假设检验是一种基于样本数据来推断总体参数的方法。其核心思想是在两种对立假设之间做出选择：原假设（H0）和备择假设（Ha）。原假设通常表示“无差异”或“无效应”，而备择假设则代表存在某种差异或效应。通过收集数据并计算统计量，我们可以决定是否有足够的证据拒绝原假设。

当然，让我们更详细地解释假设检验中的原假设 (H0) 和备择假设 (Ha)，并探讨它们在AB实验（例如推荐系统的性能测试）中的应用。

1. 基本概念

假设检验是一种统计方法，用来决定是否应该拒绝关于总体参数的某个声明。这个过程基于样本数据，并试图通过这些数据来推断总体的真实情况。它帮助我们评估一个假设是否合理，或者是否有足够的证据支持一个替代的假设。

在这里插入图片描述

1.1 原假设 (Null Hypothesis, H0)

定义: 原假设通常是关于“无效应”或“无差异”的声明，即我们想要测试的变化实际上对结果没有影响。在推荐系统的情境下，原假设可以是新算法与旧算法之间没有显著的性能差异。

示例: 在一个推荐系统的AB测试中，原假设可能是：“新推荐算法的点击率不高于当前使用的推荐算法。”

符号表示: $H_0: \mu_{\text{new}} = \mu_{\text{old}}$ ，这里 $\mu_{\text{new}}$ 和 $\mu_{\text{old}}$ 分别代表新旧推荐算法下的平均点击率。

1.2 备择假设 (Alternative Hypothesis, Ha)

定义: 备择假设是对原假设的对立面，表示存在某种效应或差异。在推荐系统的情境下，备择假设可以是新算法确实提高了性能。

示例: 对应于上面的例子，备择假设可以是：“新推荐算法的点击率高于当前使用的推荐算法。”

符号表示: $H_a: \mu_{\text{new}} > \mu_{\text{old}}$ 或者 $H_a: \mu_{\text{new}} \neq \mu_{\text{old}}$ （如果考虑双向检验）。前者称为单侧检验，后者称为双侧检验，取决于你关心的是改进还是任何方向上的变化。

2. 为什么需要这两个假设？

科学怀疑主义: 我们从认为变化不会带来效果开始（即接受原假设），除非有足够强的数据证据迫使我们改变这一观点。
逻辑对立: 两个假设必须相互排斥且完全覆盖所有可能性。这意味着如果一个假设被证明为假，则另一个必然为真。
决策框架: 它们提供了一个明确的决策框架，指导我们在数据分析后做出结论：是保持现状（不拒绝H0），还是采取行动（拒绝H0，接受Ha）。

3. 如何使用这两个假设进行决策？

设定显著性水平α: 这是我们愿意接受的最高误报率（Type I Error的概率）。通常选择0.05或0.01。
收集数据并计算检验统计量: 根据样本数据，计算出能够衡量两组间差异大小的统计量（如z-score或t-score）。
确定临界值或p值: 查找对应于α水平的临界值，或者直接计算p值，它是观察到的数据（或更极端数据）在原假设为真的条件下发生的概率。
比较并作出决定: 如果p值小于α，我们就拒绝原假设；否则，我们不能拒绝原假设。

3.1 核心概念 – 显著性水平

`显著性水平 (α) 是什么？`

简单来说：显著性水平（通常用α表示）是你愿意接受的“误判”风险。它就像是一个“容忍度”，告诉你在多大程度上你可以接受错误地认为新事物比旧事物更好，而实际上并没有区别。

在这里插入图片描述

`为什么需要设定这个“容忍度”？`

当你测试一个新的推荐算法时，你希望知道它是否真的比旧算法好。但是，有时候即使新算法并不真正更好，由于随机因素的影响，数据可能会让你觉得它更好。为了避免这种情况，你需要设定一个“容忍度”，也就是显著性水平α。

`设定α = 0.05意味着什么？`

如果你设定了α = 0.05，这意味着你允许自己有5%的机会犯错——也就是说，有5%的可能性你会错误地认为新算法更好，而实际上它并没有改进。换句话说，如果你做了100次这样的测试，大约会有5次你可能会得出错误的结论。

`如何使用α来做决定？`

当你做完实验并收集了数据后，你会计算出一个叫做p值的东西。p值告诉你，如果新算法和旧算法其实没有区别，那么你观察到的数据有多不可能发生。

如果p值小于或等于α（比如0.05），你就认为新算法确实更好，并且这种差异不是偶然发生的。
如果p值大于α，你就认为没有足够的证据证明新算法更好，可能只是随机波动造成的。

`举个🌰`

假设你在做一个AB测试，看看新推荐算法是否提高了用户的点击率。你设定了α = 0.05，然后根据实验结果计算出p值为0.03。因为p值（0.03）小于α（0.05），所以你可以说：“我们有足够的证据表明新算法确实提高了点击率，而且这种提高不太可能是偶然的。”

相反，如果p值是0.07，那么你就不能说新算法更好，因为你缺乏足够强的证据来支持这一点。

`总结`

设定显著性水平α就像是给自己设定了一个“安全线”。它帮助你控制错误判断的风险，确保你在做决策时有足够的信心。通过选择合适的α值，你可以在发现真实改进和避免错误结论之间找到平衡。

3.2 核心概念 – p值

`什么是p值？`

p值（p-value） 是衡量样本数据与原假设一致程度的一个指标。它表示的是，在原假设为真的情况下，观察到当前数据或更极端数据的概率。换句话说，p值告诉我们如果原假设是真的，那么我们看到的数据有多“异常”。

小的p值（如小于0.05）表明数据与原假设不一致的可能性较大，因此我们可能会拒绝原假设。
大的p值（如大于0.05）则意味着数据与原假设一致的可能性较大，因此我们没有足够的证据拒绝原假设。

`判别方法`

设定显著性水平α：通常设定为0.05或0.01，这决定了我们愿意接受的最大误报率（Type I Error）。
计算检验统计量：根据你的数据和检验类型（如t检验、z检验等），计算相应的检验统计量。
查找p值：
- 使用统计表：对于简单的检验，如z检验或t检验，可以使用统计表来查找对应的p值。
- 使用统计软件或编程语言：大多数现代统计软件包（如R, Python的SciPy库等）可以直接计算p值。
比较p值与α：如果p值小于或等于α，则拒绝原假设；否则，不能拒绝原假设。

`计算过程`

示例：单样本z检验
假设有一个样本数据，想要检验它的均值是否与已知总体均值有显著差异。我们将通过以下步骤计算p值：

数据准备

样本数据： $\text{data} = [52, 53, 54, 55, 56]$
已知的总体均值： $\mu = 50$
已知的总体标准差： $\sigma = 5$

步骤 1：计算样本均值

$\bar{x} = \frac{\sum \text{data}}{n} = \frac{52 + 53 + 54 + 55 + 56}{5} = 54$

步骤 2：计算z统计量

$\frac{\bar{x} - \mu}{\sigma / \sqrt{n}} = \frac{54 - 50}{5 / \sqrt{5}} = \frac{4}{5 / \sqrt{5}} = \frac{4}{2.236} \approx 1.79$

步骤 3：查找p值

可以使用标准正态分布表或编程语言来查找p值。这里我们使用Python中的scipy.stats.norm.cdf()函数来计算双侧检验的p值。

from scipy import stats# 已知的z统计量
z_stat = 1.79# 双侧检验的p值
p_value = 2 * (1 - stats.norm.cdf(abs(z_stat)))print(f"z统计量: {z_stat}")
print(f"p值: {p_value}")

这段代码会输出：

z统计量: 1.79
p值: 0.0733

标准对照表类似下面：

在这里插入图片描述

步骤 4：解释

在这个例子中，p值约为0.0733。如果我们设定了显著性水平α = 0.05，那么p值大于α，所以我们不能拒绝原假设。这意味着根据当前数据，我们没有足够的证据证明样本均值与总体均值之间存在显著差异。

`总结`

p值表示在原假设为真的情况下，观察到当前数据或更极端数据的概率。
计算p值 涉及确定合适的统计检验、计算检验统计量、查找对应的p值，并将其与显著性水平α进行比较。
解释p值 帮助我们决定是否拒绝原假设，从而得出关于数据是否有统计显著性的结论。

二、常见的假设检验类型

在这里插入图片描述

t检验：用于比较两个独立样本的均值。
z检验：当样本量足够大或总体标准差已知时使用。
卡方检验（χ²）：用于分类变量之间的关系测试。
ANOVA（方差分析）：用于比较三个或更多组的均值。
非参数检验：如Mann-Whitney U检验、Kruskal-Wallis检验等，适用于非正态分布的数据。

三、Type I 和 Type II 错误

在这里插入图片描述

1. Type I Error (I型错误)

1.1 概念

Type I Error（I型错误），也称为误报（False Positive），是指在原假设实际上是正确的情况下，我们错误地拒绝了它。简单来说，就是“不该说有变化时却说了”。

1.2 判别方法

显著性水平α：我们通过设定显著性水平α来控制犯Type I Error的概率。α通常设定为0.05或0.01，这意味着我们愿意接受最高5%或1%的误报率。
p值：计算出的p值小于或等于α时，我们会拒绝原假设。如果p值很小，说明数据与原假设不一致的可能性较大，我们可能会犯Type I Error。

1.3 注意事项

降低α值：选择更低的α值（如从0.05降到0.01），可以减少犯Type I Error的风险，但同时也会使检测到真实效应变得更加困难。
权衡风险：降低Type I Error的风险可能会增加Type II Error的风险，因此需要根据具体情况权衡两者之间的关系。

1.4 举个🌰

假设你去医院做了一项血液检测，用来检查是否患有某种罕见疾病。医生根据检测结果告诉你，你的测试呈阳性，意味着你可能患上了这种疾病。然而，实际上你并没有患病。这就是一个Type I Error的例子，发生了误报—错误人为检测结果阳性，而实际上并没有。在统计学中，Type I Error就像是这个误报。它发生在我们根据数据得出结论说新事物（比如新的推荐算法）确实带来了改进，但实际上它并没有带来任何真正的改进。

2. Type II Error (II型错误)

2.1 概念

Type II Error（II型错误），也称为漏报（False Negative），是指在原假设实际上是错误的情况下，我们错误地接受了它。简单来说，就是“该说有变化时却没有说”。

2.2 判别方法

检验力（Power = 1 - β）：检验力是避免犯Type II Error的能力。高检验力意味着测试更有可能检测到真实存在的效果，从而减少了β值。检验力取决于样本量、效应大小、显著性水平α以及数据变异性等因素。
p值：如果p值大于α，我们不能拒绝原假设。此时，可能存在Type II Error的风险，因为我们可能错过了真实的效应。

2.3 注意事项

增加样本量：更多的数据可以提高检测到真实效应的能力，从而减少β值。
增大效应大小：确保你测试的是一个足够大的效应，这样更容易被检测到。这可以通过预实验来估计。
降低数据变异性：通过控制实验条件或选择更一致的数据源，可以减少数据的变异性，从而更容易检测到真实的效应。

2.4 举个🌰

继续用安检的例子来解释。假设有一个隐藏的违禁物品，但安检门却没有发出警报。这是一个漏报的例子——安检系统未能发现实际存在的问题。在统计学中，Type II Error就像是这个漏报。它发生在我们根据数据得出结论说新事物（比如新的推荐算法）没有带来改进，但实际上它确实有所改进。

3. 总结

Type I Error 是在不应该的时候认为有变化或差异（误报），其概率由α控制。
Type II Error 是在应该的时候没有发现变化或差异（漏报），其概率由β表示。
两者之间存在权衡关系：降低一种错误的风险往往会增加另一种错误的风险。
理解并管理这两种错误对于设计有效的实验和做出可靠的统计推断至关重要。

四、应用

假设检验不仅限于学术研究，它同样广泛应用于商业领域。例如，在一个典型的推荐系统AB测试中，你可能会将一部分用户随机分配给A组（使用旧算法），另一部分分配给B组（使用新算法）。然后，你可以测量每个组的点击率、转化率等关键指标。通过假设检验，你可以判断新算法是否带来了统计上显著的不同表现。

五、总结

假设检验是一项强大的统计工具，它使我们能够在不确定的世界中找到确定的答案。通过理解和应用假设检验，不仅可以提高数据分析的能力，还能为团队提供更有价值的见解。