关于样本方差为什么除以 n-1

news/2025/1/15 5:13:01/

今天上午集训摸鱼看到同学给我发的这个问题感觉挺有意思的

感性理解

这一部分的内容仅代表本蒟蒻没看严谨证明之前的个人见解,如果您想看严谨的证明,请翻到下一部分

还是先把图放上来罢省的有人不知道讲的什么东西
在这里插入图片描述
呃我知道这是生物竞赛的东西(不过生物信息学都开始教图论了我讲这玩意有什么问题

没错我们讨论的就是:我在我的垃圾箱里翻出的有关于方差的知识下面的分母是 n n n 但是在这里却变成了 n − 1 n-1 n1

从非低级数学的角度思考

我们这里所计算的方差是样本的方差,先来思考一下我们为什么要计算样本方差
没错。因为总体太多了,只能根据样本估计总体

那么为什么要去算方差?
以这道题来看是为了去分析遗传有关的东西

ok那现在就可以开始我们的感性理解了

我们需要去算一个总体的值是因为我们要根据这个值来决定下面的结论或操作,如果我们的估计比原来的大还在可接受范围内,那么我们是大可以放心的去干的。但是如果估计的可能比原来的小,那么就比较危险了,这是我们所不希望看到的。

所以这个时候在计算方差的时候人为的把方差变的大一些,或许就可以保证估计在可接受范围内了?

其实很显然这样理解有点道理但不多(那个 n − 1 n-1 n1 总不能是模拟退火退出来的罢)

所以我们就需要严谨的证明

严谨的数学证明

参考文章

其实你直接去看参考文章可能体验会更好

设样本均值为 X ˉ \bar{X} Xˉ ,样本方差为 S 2 S^2 S2 ,总体均值为 μ \mu μ ,总体方差为 σ 2 \sigma^2 σ2 ,那么样本方差 S 2 S^2 S2 有如下公式:
S 2 = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 S^2=\frac{1}{n-1} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2 S2=n11i=1n(xiXˉ)2

其实如果你百度过,会知道要除以 n − 1 n-1 n1 这个是一个无偏估计

无偏估计

以例子来说明,假如你想知道在 wz 学生的平均身高是多少,全部统计有点不现实,但是你可以先随机挑选 100 个人,统计他们的身高,然后计算出他们的平均值,记为 X 1 ‾ \overline{X_1} X1 。如果你只是把 X 1 ‾ \overline{X_1} X1 作为整体的身高平均值,误差肯定很大,因为你再随机挑选出 100 个人,身高平均值很可能就跟刚才计算的不同,为了使得统计结果更加精确,你需要多抽取几次,然后分别计算出他们的平均值,分别记为: X 2 ‾ 、 X 3 ‾ 、 ⋯ X k ‾ \overline{X_2} 、 \overline{X_3} 、 \cdots \overline{X_k} X2X3Xk 然后再把这些平均值,再做平均,记为: E ( X ˉ ) E(\bar{X}) E(Xˉ) ,这样的结果肯定比只计算一次更加精确, 随着重复抽取的次数增多,这个期望值会越来越接近总体均值 μ \mu μ ,如果满足 E ( X ˉ ) = μ E(\bar{X})=\mu E(Xˉ)=μ ,这就是一个无偏估计,其中统计的样本均值也是一个随机变量, X ˉ i \bar{X}_i Xˉi 就是 X ˉ \bar{X} Xˉ 的一个取值。无偏估计的意义是 : 在多次重复下,它们的平均数接近所估计的参数真值。
介绍无偏估计的意义就是,我们计算的样本方差,希望它是总体方差的一个无偏估计,那么假如我们的样本方差是如下形式:
S 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 S^2=\frac{1}{n} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2 S2=n1i=1n(xiXˉ)2
那么根据无偏估计的定义去抄大佬推的式子:

E ( S 2 ) = E ( 1 n ∑ i = 1 n ( x i − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n ( ( x i − μ ) − ( X ˉ − μ ) ) 2 ) = E ( 1 n ∑ i = 1 n ( ( x i − μ ) 2 − 2 ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ) ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − 1 n ∑ i = 1 n 2 ( x i − μ ) ( X ˉ − μ ) + 1 n ∑ i = 1 n ( X ˉ − μ ) 2 ) \begin{aligned} & E\left(S^2\right) \\ = & E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2\right)=E\left(\frac{1}{n} \sum_{i=1}^n\left(\left(x_i-\mu\right)-(\bar{X}-\mu)\right)^2\right) \\ = & E\left(\frac{1}{n} \sum_{i=1}^n\left(\left(x_i-\mu\right)^2-2\left(x_i-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^2\right)\right) \\ = & E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2-\frac{1}{n} \sum_{i=1}^n 2\left(x_i-\mu\right)(\bar{X}-\mu)+\frac{1}{n} \sum_{i=1}^n(\bar{X}-\mu)^2\right) \end{aligned} ===E(S2)E(n1i=1n(xiXˉ)2)=E(n1i=1n((xiμ)(Xˉμ))2)E(n1i=1n((xiμ)22(xiμ)(Xˉμ)+(Xˉμ)2))E(n1i=1n(xiμ)2n1i=1n2(xiμ)(Xˉμ)+n1i=1n(Xˉμ)2)
注意最后的中间那一项:

∵ 1 n ∑ i = 1 n ( x i − μ ) = 1 n ∑ i = 1 n x i − μ = X ˉ − μ \begin{aligned}& \because \frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)=\frac{1}{n} \sum_{i=1}^n x_i-\mu=\bar{X}-\mu \end{aligned} n1i=1n(xiμ)=n1i=1nxiμ=Xˉμ
可得:
E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − 1 n ∑ i = 1 n 2 ( x i − μ ) ( X ˉ − μ ) + 1 n ∑ i = 1 n ( X ˉ − μ ) 2 ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − 2 ( X ˉ − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − ( X ˉ − μ ) 2 ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 ) − E ( ( X ˉ − μ ) 2 ) ≤ σ 2 \begin{aligned} & E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2-\frac{1}{n} \sum_{i=1}^n 2\left(x_i-\mu\right)(\bar{X}-\mu)+\frac{1}{n} \sum_{i=1}^n(\bar{X}-\mu)^2\right) \\ & =E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2-2(\bar{X}-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2\right) \\ & =E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2-(\bar{X}-\mu)^2\right) \\ & =E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2\right)-E\left((\bar{X}-\mu)^2\right) \leq \sigma^2 \end{aligned} E(n1i=1n(xiμ)2n1i=1n2(xiμ)(Xˉμ)+n1i=1n(Xˉμ)2)=E(n1i=1n(xiμ)22(Xˉμ)(Xˉμ)+(Xˉμ)2)=E(n1i=1n(xiμ)2(Xˉμ)2)=E(n1i=1n(xiμ)2)E((Xˉμ)2)σ2

由上式可以看出如果除以 n n n,那么样本方差比总体方差的值偏小,我们需要进行修正,使得样本方差是总体方差的无偏估计。

我们接着上式继续化简:
E ( 1 n ∑ i = 1 n ( x i − μ ) 2 ) − E ( ( X ˉ − μ ) 2 ) = Var ⁡ ( X ) − Var ⁡ ( X ˉ ) = σ 2 − 1 n σ 2 = n − 1 n σ 2 \begin{aligned} & E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2\right)-E\left((\bar{X}-\mu)^2\right) \\ & =\operatorname{Var}(X)-\operatorname{Var}(\bar{X}) \\ & =\sigma^2-\frac{1}{n} \sigma^2 \\ & =\frac{n-1}{n} \sigma^2 \end{aligned} E(n1i=1n(xiμ)2)E((Xˉμ)2)=Var(X)Var(Xˉ)=σ2n1σ2=nn1σ2

最后我们就得到了 this:

E ( S 2 ) = n − 1 n σ 2 E\left(S^2\right)=\frac{n-1}{n} \sigma^2 E(S2)=nn1σ2

如果让我们假设的样本方差 S 2 S^2 S2 乘以 n n − 1 \frac{n}{n-1} n1n ,即修正成如下形式,就可以得到样本方差是总体方差 σ 2 \sigma^2 σ2 的无偏估计
S 2 = n n − 1 ( 1 n ∑ i = 1 n ( x i − X ˉ ) 2 ) = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 S^2=\frac{n}{n-1}\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2\right)=\frac{1}{n-1} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2 S2=n1n(n1i=1n(xiXˉ)2)=n11i=1n(xiXˉ)2

则:

E ( S 2 ) = E ( 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 ) = E ( 1 n − 1 ∑ i = 1 n ( ( x i − μ ) − ( X ˉ − μ ) ) 2 ) = E ( 1 n − 1 ∑ i = 1 n ( ( x i − μ ) 2 − 2 ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ) ) = E ( 1 n − 1 ∑ i = 1 n ( x i − μ ) 2 − 1 n − 1 ∑ i = 1 n 2 ( x i − μ ) ( X ˉ − μ ) + 1 n − 1 ∑ i = 1 n ( X ˉ − μ ) 2 ) = E ( 1 n − 1 ∑ i = 1 n ( x i − μ ) 2 − 2 n n − 1 ( X ˉ − μ ) ( X ˉ − μ ) + n n − 1 ( X ˉ − μ ) 2 ) = E ( 1 n − 1 ∑ i = 1 n ( x l − μ ) 2 ) − E ( n n − 1 ( X ˉ − μ ) 2 ) = n n − 1 E ( 1 n ∑ i = 1 n ( x i − μ ) 2 ) − n n − 1 E ( ( X ˉ − μ ) 2 ) = n n − 1 σ 2 − n n − 1 × σ 2 n = σ 2 \begin{aligned} & E\left(S^2\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(x_i-\bar{X}\right)^2\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(\left(x_i-\mu\right)-(\bar{X}-\mu)\right)^2\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(\left(x_i-\mu\right)^2-2\left(x_i-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^2\right)\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(x_i-\mu\right)^2-\frac{1}{n-1} \sum_{i=1}^n 2\left(x_i-\mu\right)(\bar{X}-\mu)+\frac{1}{n-1} \sum_{i=1}^n(\bar{X}-\mu)^2\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(x_i-\mu\right)^2-\frac{2 n}{n-1}(\bar{X}-\mu)(\bar{X}-\mu)+\frac{n}{n-1}(\bar{X}-\mu)^2\right) \\ & =E\left(\frac{1}{n-1} \sum_{i=1}^n\left(x_l-\mu\right)^2\right)-E\left(\frac{n}{n-1}(\bar{X}-\mu)^2\right) \\ & =\frac{n}{n-1} E\left(\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2\right)-\frac{n}{n-1} E\left((\bar{X}-\mu)^2\right) \\ & =\frac{n}{n-1} \sigma^2-\frac{n}{n-1} \times \frac{\sigma^2}{n} \\ & =\sigma^2 \\ & \end{aligned} E(S2)=E(n11i=1n(xiXˉ)2)=E(n11i=1n((xiμ)(Xˉμ))2)=E(n11i=1n((xiμ)22(xiμ)(Xˉμ)+(Xˉμ)2))=E(n11i=1n(xiμ)2n11i=1n2(xiμ)(Xˉμ)+n11i=1n(Xˉμ)2)=E(n11i=1n(xiμ)2n12n(Xˉμ)(Xˉμ)+n1n(Xˉμ)2)=E(n11i=1n(xlμ)2)E(n1n(Xˉμ)2)=n1nE(n1i=1n(xiμ)2)n1nE((Xˉμ)2)=n1nσ2n1n×nσ2=σ2

故修正之后的样本方差的期望是总体方差的一个无偏估计,这就可以解释分母为何要除以 n − 1 n-1 n1 了。

结语

没有结语

如果有什么地方写的不够完善,请各位大佬在评论区指出 /bx/bx/bx


http://www.ppmy.cn/news/998722.html

相关文章

机器学习笔记之优化算法(六)线搜索方法(步长角度;非精确搜索;Glodstein Condition)

机器学习笔记之优化算法——线搜索方法[步长角度,非精确搜索,Glodstein Condition] 引言回顾: Armijo Condition \text{Armijo Condition} Armijo Condition关于 Armijo Condition \text{Armijo Condition} Armijo Condition的弊端 Glodstein…

2023年第四届“华数杯”数学建模思路 - 复盘:光照强度计算的优化模型

文章目录 0 赛题思路1 问题要求2 假设约定3 符号约定4 建立模型5 模型求解6 实现代码 0 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 1 问题要求 现在已知一个教室长为15米,宽为12米&#xff0…

【技巧】学术Poster的制作要点,详细!

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] 内容零零散散均收集自网上,有点杂忘了引用。 内容技巧 https://posts.careerengine.us/p/5dac3e628c131b0541dd9171 展示内容包括(将信息分块) 可选择性删减,注意…

分布式开源监控Zabbix实战

Zabbix作为一个分布式开源监控软件,在传统的监控领域有着先天的优势,具备灵活的数据采集、自定义的告警策略、丰富的图表展示以及高可用性和扩展性。本文简要介绍Zabbix的特性、整体架构和工作流程,以及安装部署的过程,并结合实战…

git-版本控制器

集中式版本控制工具(不常用) 版本库集中于中央服务器,team要联网才能工作(下载代码) SVN CVS 分布式版本控制工具 每个电脑上都有一个完整的版本库,工作时无需联网,可以把修改推送给其他人来…

STM32 NOR_FLASH 学习

NOR FLASH FLASH是常用的,用于存储数据的半导体器件,它具有容量大,可重复擦写、按“扇区/块”擦除、掉电后数据可继续保存的特性。 NOR FLASH的单位是MB,EEPROM的单位是KB。 NM25Q128,是NOR FLASH的一种&#xff0c…

Uniapp_app端使用重力感应实现横屏竖屏自动切换

1、进入页面默认是竖屏当手机横着的时候页面也跟着横着 进入页面开启定时器调用相关api去触发横屏竖屏&#xff0c;主要核心代码都在onShow()里面和onHide()里 <template> <view class"monitor"><u-no-network></u-no-network><web-view …

Java开发中的------修改密码+忘记密码

目录 1.修改密码 客户端响应 前端vue 后端 controller层 ServiceImpl实现层 2.忘记密码 客户端响应 后端 controller层 serviceImpl实现层 本章需要准备&#xff1a;springcloud项目&#xff0c;依赖&#xff0c;数据库.... 数据库SQL SET FOREIGN_KEY_CHECKS0;-- -…