问题重述
我们需要证明样本方差 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2$ 是总体方差 σ2 = D(X) 的无偏估计量。即证明 E[S2] = σ2。
证明步骤
设定和已知条件：
- 总体 X 的均值 E(X) = μ，方差 D(X) = σ2 < ∞。
- 样本 X1, X2, …, Xn 是独立同分布（i.i.d.）的，与 X 同分布。
- 样本均值 $\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$。
展开样本方差：
$$ S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 $$
我们首先将 $(X_i - \overline{X})$ 表示为 $(X_i - \mu) - (\overline{X} - \mu)$：
$$ (X_i - \overline{X}) = (X_i - \mu) - (\overline{X} - \mu) $$
然后平方：
$$ (X_i - \overline{X})^2 = (X_i - \mu)^2 - 2(X_i - \mu)(\overline{X} - \mu) + (\overline{X} - \mu)^2 $$
求和并取期望：
$$ \sum_{i=1}^{n} (X_i - \overline{X})^2 = \sum_{i=1}^{n} (X_i - \mu)^2 - 2\sum_{i=1}^{n} (X_i - \mu)(\overline{X} - \mu) + n(\overline{X} - \mu)^2 $$
现在对两边取期望：
$$ E\left[ \sum_{i=1}^{n} (X_i - \overline{X})^2 \right] = \sum_{i=1}^{n} E\left[ (X_i - \mu)^2 \right] - 2E\left[ \sum_{i=1}^{n} (X_i - \mu)(\overline{X} - \mu) \right] + nE\left[ (\overline{X} - \mu)^2 \right] $$
计算各项期望：
第一项：
E[(Xi − μ)2] = D(Xi) = σ2 对所有 i
所以：
$$ \sum_{i=1}^{n} E\left[ (X_i - \mu)^2 \right] = n\sigma^2 $$
第二项： 注意到 $\overline{X} - \mu = \frac{1}{n} \sum_{j=1}^{n} (X_j - \mu)$，所以：
$$ \sum_{i=1}^{n} (X_i - \mu)(\overline{X} - \mu) = \sum_{i=1}^{n} (X_i - \mu) \cdot \frac{1}{n} \sum_{j=1}^{n} (X_j - \mu) = \frac{1}{n} \left( \sum_{i=1}^{n} (X_i - \mu) \right)^2 $$
因此：
$$ E\left[ \sum_{i=1}^{n} (X_i - \mu)(\overline{X} - \mu) \right] = \frac{1}{n} E\left[ \left( \sum_{i=1}^{n} (X_i - \mu) \right)^2 \right] = \frac{1}{n} \cdot n\sigma^2 = \sigma^2 $$
（因为 $\sum_{i=1}^{n} (X_i - \mu)$ 的方差是 nσ2）
第三项：
$$ E\left[ (\overline{X} - \mu)^2 \right] = D(\overline{X}) = \frac{\sigma^2}{n} $$
代入期望值：
$$ E\left[ \sum_{i=1}^{n} (X_i - \overline{X})^2 \right] = n\sigma^2 - 2\sigma^2 + n \cdot \frac{\sigma^2}{n} = n\sigma^2 - 2\sigma^2 + \sigma^2 = (n-1)\sigma^2 $$
因此：
$$ E[S^2] = E\left[ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 \right] = \frac{1}{n-1} \cdot (n-1)\sigma^2 = \sigma^2 $$
这表明 S2 是 σ2 的无偏估计。
矩估计 Ŝ2 的有偏性
矩估计 $\hat{S}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ 的期望：
$$ E[\hat{S}^2] = E\left[ \frac{n-1}{n} S^2 \right] = \frac{n-1}{n} E[S^2] = \frac{n-1}{n} \sigma^2 $$
因此，Ŝ2 是有偏的，偏差为 $-\frac{\sigma^2}{n}$。但当 n → ∞，E[Ŝ2] → σ2，所以它是渐近无偏的。
无偏估计的多样性
对于总体均值 μ 的无偏估计，任何形如 $\sum_{i=1}^{n} c_i X_i$ 且 $\sum_{i=1}^{n} c_i = 1$ 的估计量都是无偏的：
$$ E\left[ \sum_{i=1}^{n} c_i X_i \right] = \sum_{i=1}^{n} c_i E[X_i] = \mu \sum_{i=1}^{n} c_i = \mu $$
这表明无偏估计不唯一，样本均值 $\overline{X}$ 是其中一种特例（$c_i = \frac{1}{n}$）。
结论
- 样本方差 S2 是总体方差 σ2 的无偏估计。
- 矩估计 Ŝ2 是有偏的，但渐近无偏。
- 无偏估计不唯一，可以通过不同方式构造。
