一些分布函数的数字特征的求解过程

前言

在这里主要是进行求一些常见分布的一些数字特性，包括期望，方差等

主要写的是计算过程，这些分布的数字特征是怎么计算来的，我个人喜欢把计算过程写的比较详细，感觉多的大概扫一眼就知道这东西其实都是怎么求的了

两点分布

重复一下分布表示

设随机变量 X 服从参数为 p 的两点分布（也称为伯努利分布），其概率质量函数为：

P(X = 1) = p,  P(X = 0) = 1 − p

其中 0 ≤ p ≤ 1。

期望（数学期望）

期望 E[X] 的计算公式为：

E[X] = ∑_xx ⋅ P(X = x) = 0 ⋅ P(X = 0) + 1 ⋅ P(X = 1)

代入概率质量函数：

E[X] = 0 ⋅ (1 − p) + 1 ⋅ p = p

因此，两点分布的期望为：

E[X] = p

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²] E[X²] = ∑_xx² ⋅ P(X = x) = 0² ⋅ P(X = 0) + 1² ⋅ P(X = 1)

代入概率质量函数：

E[X²] = 0 ⋅ (1 − p) + 1 ⋅ p = p

将 E[X²] = p 和 E[X] = p 代入方差公式：

D(X) = p − p² = p(1 − p)

因此，两点分布的方差为：

D(X) = p(1 − p)

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{\text{Var}(X)} = \sqrt{p(1 - p)} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

M_X(t) = E[e^tX] = ∑_xe^txP(X = x)

代入概率质量函数：

M_X(t) = e^t ⋅ 0P(X = 0) + e^t ⋅ 1P(X = 1) = (1 − p) + e^tp

因此，矩生成函数为：

M_X(t) = 1 − p + pe^t

特征函数

特征函数 ϕ_X(t) 的定义为：

ϕ_X(t) = E[e^itX] = ∑_xe^itxP(X = x)

代入概率质量函数：

ϕ_X(t) = e^it ⋅ 0P(X = 0) + e^it ⋅ 1P(X = 1) = (1 − p) + e^itp

因此，特征函数为：

ϕ_X(t) = 1 − p + pe^it

总结

对于两点分布 X ∼ Bernoulli(p)，其数字特征为：

• 期望：E[X] = p
• 方差：D(X) = p(1 − p)
• 标准差：$\sigma_X = \sqrt{p(1 - p)}$
• 矩生成函数：M_X(t) = 1 − p + pe^t
• 特征函数：ϕ_X(t) = 1 − p + pe^it

二项分布

重复一下分布表示

设随机变量 X 服从参数为 n 和 p 的二项分布，记作 X ∼ Binomial(n, p)，其概率质量函数为：

$$ P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k = 0, 1, \dots, n $$

其中 0 ≤ p ≤ 1，n 为正整数。

期望（数学期望）

期望 E[X] 的计算公式为：

$$ E[X] = \sum_{k=0}^n k \cdot P(X = k) = \sum_{k=0}^n k \binom{n}{k} p^k (1 - p)^{n - k} $$

利用组合恒等式 $k \binom{n}{k} = n \binom{n - 1}{k - 1}$（k ≥ 1），重新表示求和：

$$ E[X] = \sum_{k=1}^n n \binom{n - 1}{k - 1} p^k (1 - p)^{n - k} $$

提取 np，并令 j = k − 1：

$$ E[X] = n p \sum_{j=0}^{n - 1} \binom{n - 1}{j} p^j (1 - p)^{n - 1 - j} $$

求和部分是二项式展开 (p + (1 − p))^n − 1 = 1，因此：

E[X] = np

因此，二项分布的期望为：

E[X] = np

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²]

首先计算 E[X(X − 1)]：

$$ E[X(X - 1)] = \sum_{k=0}^n k (k - 1) \binom{n}{k} p^k (1 - p)^{n - k} $$

对于 k ≥ 2，利用恒等式 $k (k - 1) \binom{n}{k} = n (n - 1) \binom{n - 2}{k - 2}$：

$$ E[X(X - 1)] = \sum_{k=2}^n n (n - 1) \binom{n - 2}{k - 2} p^k (1 - p)^{n - k} $$

提取 n(n − 1)p²，并令 j = k − 2：

$$ E[X(X - 1)] = n (n - 1) p^2 \sum_{j=0}^{n - 2} \binom{n - 2}{j} p^j (1 - p)^{n - 2 - j} $$

求和部分是二项式展开 (p + (1 − p))^n − 2 = 1，因此：

E[X(X − 1)] = n(n − 1)p²

注意到 E[X²] = E[X(X − 1)] + E[X]，因此：

E[X²] = n(n − 1)p² + np

将 E[X²] 和 E[X] = np 代入方差公式：

D(X) = n(n − 1)p² + np − (np)² = np(1 − p)

因此，二项分布的方差为：

D(X) = np(1 − p)

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{D(X)} = \sqrt{n p (1 - p)} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

$$ M_X(t) = E[e^{tX}] = \sum_{k=0}^n e^{t k} \binom{n}{k} p^k (1 - p)^{n - k} $$

将 e^tkp^k 合并：

$$ M_X(t) = \sum_{k=0}^n \binom{n}{k} (p e^t)^k (1 - p)^{n - k} $$

根据二项式定理，求和结果为：

M_X(t) = (1 − p + pe^t)ⁿ

因此，矩生成函数为：

M_X(t) = (1 − p + pe^t)ⁿ

特征函数

特征函数 ϕ_X(t) 的定义为：

$$ \phi_X(t) = E[e^{i t X}] = \sum_{k=0}^n e^{i t k} \binom{n}{k} p^k (1 - p)^{n - k} $$

类似矩生成函数的推导：

$$ \phi_X(t) = \sum_{k=0}^n \binom{n}{k} (p e^{i t})^k (1 - p)^{n - k} = \left(1 - p + p e^{i t}\right)^n $$

因此，特征函数为：

ϕ_X(t) = (1 − p + pe^it)ⁿ

总结

对于二项分布 X ∼ Binomial(n, p)，其数字特征为：

• 期望：E[X] = np
• 方差：D(X) = np(1 − p)
• 标准差：$\sigma_X = \sqrt{n p (1 - p)}$
• 矩生成函数：M_X(t) = (1 − p + pe^t)ⁿ
• 特征函数：ϕ_X(t) = (1 − p + pe^it)ⁿ

泊松分布

重复一下分布表示

设随机变量 X 服从参数为 λ 的泊松分布，记作 X ∼ Poisson(λ)，其概率质量函数为：

$$ P(X = k) = \frac{e^{-\lambda} \lambda^k}{k!}, \quad k = 0, 1, 2, \dots $$

其中 λ > 0。

期望（数学期望）

期望 E[X] 的计算公式为：

$$ E[X] = \sum_{k=0}^\infty k \cdot \frac{e^{-\lambda} \lambda^k}{k!} $$

计算期望 $ E[X] :$ E[X] = {k=0}^k P(X=k) = {k=0}^k $$ 当 $ k=0$ 时，首项为 0： $$ 0 = 0 $$ 因此求和下限从 $ k=1 $ 开始： $$ E[X] = _{k=1}^k $$

化简 $ :$ = $$

代入原式得： $$ E[X] = e^{-\lambda} \sum_{k=1}^\infty \frac{\lambda^k}{(k-1)!} $$ 其中令 j = k − 1，并利用 e^λ 的泰勒展开，

变量替换 $ j = k-1 $：

当 $ k=1 $ 时，$ j=0 $；当 $ k $ 时，$ j $。

同时，$ k = j+1 ，代入得：$ E[X] = e^{-} {j=0}^ = e^{-} {j=0}^ $$ 之后利用指数函数的泰勒展开：

已知指数函数的泰勒级数为： $$ e^x = \sum_{j=0}^\infty \frac{x^j}{j!} $$ 令 $ x = ，则：$ _{j=0}^ = e^ 代入并化简： E[X] = e^{-} e^= e^{-+ } = = $$ 因此，泊松分布的期望为：

E[X] = λ

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²]

通过 E[X(X − 1)] 计算：

$$ E[X(X-1)] = \sum_{k=0}^\infty k(k-1) \frac{e^{-\lambda} \lambda^k}{k!} = e^{-\lambda} \lambda^2 \sum_{k=2}^\infty \frac{\lambda^{k-2}}{(k-2)!} = \lambda^2 $$

因此：

E[X²] = E[X(X − 1)] + E[X] = λ² + λ

那么方差 D(X) = (λ² + λ) − λ² = λ

因此，泊松分布的方差为：

D(X) = λ

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{D(X)} = \sqrt{\lambda} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

$$ M_X(t) = E[e^{tX}] = \sum_{k=0}^\infty e^{tk} \frac{e^{-\lambda} \lambda^k}{k!} = e^{-\lambda} \sum_{k=0}^\infty \frac{(\lambda e^t)^k}{k!} $$

根据指数函数的泰勒展开：

M_X(t) = e^−λe^λet = e^{λ(et − 1)}

因此，矩生成函数为：

M_X(t) = e^{λ(et − 1)}

特征函数

特征函数 ϕ_X(t) 的定义为：

$$ \phi_X(t) = E[e^{itX}] = \sum_{k=0}^\infty e^{itk} \frac{e^{-\lambda} \lambda^k}{k!} = e^{-\lambda} \sum_{k=0}^\infty \frac{(\lambda e^{it})^k}{k!} $$

同样利用指数函数的展开：

ϕ_X(t) = e^−λe^λeit = e^{λ(eit − 1)}

因此，特征函数为：

ϕ_X(t) = e^{λ(eit − 1)}

总结

对于泊松分布 X ∼ Poisson(λ)，其数字特征为：

• 期望：E[X] = λ
• 方差：D(X) = λ
• 标准差：$\sigma_X = \sqrt{\lambda}$
• 矩生成函数：M_X(t) = e^{λ(et − 1)}
• 特征函数：ϕ_X(t) = e^{λ(eit − 1)}

均匀分布

重复一下分布表示

上面都是离散的，这次是连续的

设随机变量 X 服从区间 [a, b] 上的均匀分布，记作 X ∼ U(a, b)，其概率密度函数为：

$$ f(x) = \begin{cases} \frac{1}{b-a}, & a \leq x \leq b \\ 0, & \text{其他} \end{cases} $$

其中 −∞ < a < b < ∞。

期望（数学期望）

期望 E[X] 的计算公式为：

$$ E[X] = \int_{-\infty}^{\infty} x f(x) dx = \int_a^b x \cdot \frac{1}{b-a} dx $$

计算积分：

$$ E[X] = \frac{1}{b-a} \int_a^b x dx = \frac{1}{b-a} \left[ \frac{x^2}{2} \right]_a^b = \frac{b^2 - a^2}{2(b-a)} = \frac{a + b}{2} $$

因此，均匀分布的期望为：

$$ E[X] = \frac{a + b}{2} $$

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²] $$ E[X^2] = \int_{-\infty}^{\infty} x^2 f(x) dx = \int_a^b x^2 \cdot \frac{1}{b-a} dx $$

计算积分：

$$ E[X^2] = \frac{1}{b-a} \int_a^b x^2 dx = \frac{1}{b-a} \left[ \frac{x^3}{3} \right]_a^b = \frac{b^3 - a^3}{3(b-a)} $$

因式分解分子：

b³ − a³ = (b − a)(b² + ab + a²)

因此：

$$ E[X^2] = \frac{b^2 + ab + a^2}{3} $$

将 E[X²] 和 $E[X] = \frac{a+b}{2}$ 代入：

$$ D(X) = \frac{b^2 + ab + a^2}{3} - \left( \frac{a+b}{2} \right)^2 = \frac{4(b^2 + ab + a^2) - 3(a^2 + 2ab + b^2)}{12} = \frac{(b-a)^2}{12} $$

因此，均匀分布的方差为：

$$ D(X) = \frac{(b - a)^2}{12} $$

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{D(X)} = \frac{b - a}{2\sqrt{3}} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

$$ M_X(t) = E[e^{tX}] = \int_a^b e^{tx} \cdot \frac{1}{b-a} dx $$

计算积分（当 t ≠ 0 时）：

$$ M_X(t) = \frac{1}{b-a} \left[ \frac{e^{tx}}{t} \right]_a^b = \frac{e^{tb} - e^{ta}}{t(b-a)} $$

当 t = 0 时：

M_X(0) = E[e⁰] = 1

因此，矩生成函数为：

$$ M_X(t) = \begin{cases} \frac{e^{tb} - e^{ta}}{t(b-a)}, & t \neq 0 \\ 1, & t = 0 \end{cases} $$

特征函数

特征函数 ϕ_X(t) 的定义为：

$$ \phi_X(t) = E[e^{itX}] = \int_a^b e^{itx} \cdot \frac{1}{b-a} dx $$

计算积分：

$$ \phi_X(t) = \frac{1}{b-a} \left[ \frac{e^{itx}}{it} \right]_a^b = \frac{e^{itb} - e^{ita}}{it(b-a)} $$

因此，特征函数为：

$$ \phi_X(t) = \frac{e^{itb} - e^{ita}}{it(b-a)} $$

总结

对于均匀分布 X ∼ U(a, b)，其数字特征为：

• 期望：$E[X] = \frac{a + b}{2}$
• 方差：$D(X) = \frac{(b - a)^2}{12}$
• 标准差：$\sigma_X = \frac{b - a}{2\sqrt{3}}$
• 矩生成函数： $$ M_X(t) = \begin{cases} \frac{e^{tb} - e^{ta}}{t(b-a)}, & t \neq 0 \\ 1, & t = 0 \end{cases} $$
• 特征函数：$\phi_X(t) = \frac{e^{itb} - e^{ita}}{it(b-a)}$

指数分布的数字特征

重复一下分布表示

设随机变量 X 服从参数为 λ 的指数分布，记作 X ∼ Exp(λ)，其概率密度函数为：

$$ f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \geq 0 \\ 0, & x < 0 \end{cases} $$

其中 λ > 0。

期望（数学期望）

期望 E[X] 的计算公式为：

E[X] = ∫_−∞^∞xf(x)dx = ∫₀^∞xλe^−λxdx

使用分部积分法计算： 设 u = x，dv = λe^−λxdx，则 du = dx，v = −e^−λx

$$ E[X] = \left[ -x e^{-\lambda x} \right]_0^{\infty} + \int_0^{\infty} e^{-\lambda x} dx = 0 + \left[ -\frac{1}{\lambda} e^{-\lambda x} \right]_0^{\infty} = \frac{1}{\lambda} $$

因此，指数分布的期望为：

$$ E[X] = \frac{1}{\lambda} $$

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²] E[X²] = ∫₀^∞x²λe^−λxdx

使用分部积分法： 设 u = x²，dv = λe^−λxdx，则 du = 2xdx，v = −e^−λx

$$ E[X^2] = \left[ -x^2 e^{-\lambda x} \right]_0^{\infty} + 2\int_0^{\infty} x e^{-\lambda x} dx = 0 + \frac{2}{\lambda} E[X] = \frac{2}{\lambda^2} $$

计算方差 $$ D(X) = \frac{2}{\lambda^2} - \left( \frac{1}{\lambda} \right)^2 = \frac{1}{\lambda^2} $$

因此，指数分布的方差为：

$$ D(X) = \frac{1}{\lambda^2} $$

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{D(X)} = \frac{1}{\lambda} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

M_X(t) = E[e^tX] = ∫₀^∞e^txλe^−λxdx = λ∫₀^∞e^{−(λ − t)x}dx

当 t < λ 时积分收敛：

$$ M_X(t) = \lambda \left[ \frac{e^{-(\lambda - t)x}}{-(\lambda - t)} \right]_0^{\infty} = \frac{\lambda}{\lambda - t} $$

因此，矩生成函数为：

$$ M_X(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda $$

特征函数

特征函数 ϕ_X(t) 的定义为：

ϕ_X(t) = E[e^itX] = ∫₀^∞e^itxλe^−λxdx = λ∫₀^∞e^{−(λ − it)x}dx

计算积分：

$$ \phi_X(t) = \lambda \left[ \frac{e^{-(\lambda - it)x}}{-(\lambda - it)} \right]_0^{\infty} = \frac{\lambda}{\lambda - it} $$

因此，特征函数为：

$$ \phi_X(t) = \frac{\lambda}{\lambda - it} $$

总结

对于指数分布 X ∼ Exp(λ)，其数字特征为：

• 期望：$E[X] = \frac{1}{\lambda}$
• 方差：$D(X) = \frac{1}{\lambda^2}$
• 标准差：$\sigma_X = \frac{1}{\lambda}$
• 矩生成函数：$M_X(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda$
• 特征函数：$\phi_X(t) = \frac{\lambda}{\lambda - it}$

正态分布

重复一下分布形式

设随机变量 X 服从参数为 μ 和 σ² 的正态分布，记作 X ∼ N(μ, σ²)，其概率密度函数为：

$$ f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty < x < \infty $$

其中 μ ∈ ℝ，σ > 0。

期望（数学期望）

期望 E[X] 的计算公式为：

$$ E[X] = \int_{-\infty}^{\infty} x f(x) dx = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{\infty} x e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx $$

作变量替换 $z = \frac{x-\mu}{\sigma}$，则 x = μ + σz，dx = σdz：

$$ E[X] = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} (\mu + \sigma z) e^{-\frac{z^2}{2}} dz $$

拆分为两个积分：

$$ E[X] = \mu \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{z^2}{2}} dz + \frac{\sigma}{\sqrt{2\pi}} \int_{-\infty}^{\infty} z e^{-\frac{z^2}{2}} dz $$

第一个积分等于1（标准正态分布的全概率），第二个积分是奇函数在对称区间积分为0：

$$ E[X] = \mu \cdot 1 + \frac{\sigma}{\sqrt{2\pi}} \cdot 0 = \mu $$

因此，正态分布的期望为：

E[X] = μ

方差

方差 D(X) 的计算公式为：

$$ D(X) = E[(X-\mu)^2] = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{\infty} (x-\mu)^2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx $$

同样作变量替换 $z = \frac{x-\mu}{\sigma}$：

$$ D(X) = \frac{\sigma^2}{\sqrt{2\pi}} \int_{-\infty}^{\infty} z^2 e^{-\frac{z^2}{2}} dz $$

利用分部积分法，设 u = z，$dv = z e^{-\frac{z^2}{2}}dz$，则 du = dz，$v = -e^{-\frac{z^2}{2}}$：

$$ \int z^2 e^{-\frac{z^2}{2}} dz = -z e^{-\frac{z^2}{2}} \Big|_{-\infty}^{\infty} + \int e^{-\frac{z^2}{2}} dz = \sqrt{2\pi} $$

因此：

$$ D(X) = \frac{\sigma^2}{\sqrt{2\pi}} \cdot \sqrt{2\pi} = \sigma^2 $$

因此，正态分布的方差为：

D(X) = σ²

标准差

标准差是方差的平方根：

$$ \sigma_X = \sqrt{D(X)} = \sigma $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

$$ M_X(t) = E[e^{tX}] = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{\infty} e^{tx} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx $$

合并指数项并配方：

$$ tx - \frac{(x-\mu)^2}{2\sigma^2} = -\frac{x^2 - 2\mu x + \mu^2 - 2\sigma^2 t x}{2\sigma^2} = -\frac{x^2 - 2(\mu + \sigma^2 t)x + \mu^2}{2\sigma^2} $$

配方得：

$$ = -\frac{[x - (\mu + \sigma^2 t)]^2 - (\mu + \sigma^2 t)^2 + \mu^2}{2\sigma^2} = -\frac{[x - (\mu + \sigma^2 t)]^2}{2\sigma^2} + \mu t + \frac{\sigma^2 t^2}{2} $$

因此：

$$ M_X(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}} \cdot \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{\infty} e^{-\frac{[x - (\mu + \sigma^2 t)]^2}{2\sigma^2}} dx = e^{\mu t + \frac{\sigma^2 t^2}{2}} $$

因此，矩生成函数为：

$$ M_X(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}} $$

特征函数

特征函数 ϕ_X(t) 的定义为：

$$ \phi_X(t) = E[e^{itX}] = M_X(it) = e^{\mu it + \frac{\sigma^2 (it)^2}{2}} = e^{i\mu t - \frac{\sigma^2 t^2}{2}} $$

因此，特征函数为：

$$ \phi_X(t) = e^{i\mu t - \frac{\sigma^2 t^2}{2}} $$

总结

对于正态分布 X ∼ N(μ, σ²)，其数字特征为：

• 期望：E[X] = μ
• 方差：D(X) = σ²
• 标准差：σ_X = σ
• 矩生成函数：$M_X(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}}$
• 特征函数：$\phi_X(t) = e^{i\mu t - \frac{\sigma^2 t^2}{2}}$

χ²分布

重复一下分布形式

设 Z₁, Z₂, …, Z_n 是独立同分布的标准正态随机变量（即 Z_i ∼ N(0, 1)），则随机变量： $$ \chi^2 = \sum_{i=1}^n Z_i^2 $$ 服从自由度为 n 的卡方分布，记作 X ∼ χ²(n)。

对于 x > 0，其概率密度函数为： $$ f(x;n) = \frac{1}{2^{n/2}\Gamma(n/2)} x^{n/2-1} e^{-x/2} $$ 其中 Γ(⋅) 是Gamma函数，满足： - Γ(k) = (k − 1)! 当 k 为正整数 - $\Gamma(1/2) = \sqrt{\pi}$

数学期望

推导过程： $$ \begin{aligned} E[X] &= E\left[\sum_{i=1}^n Z_i^2\right] \\ &= \sum_{i=1}^n E[Z_i^2] \quad \text{(线性性质)} \\ &= n \cdot E[Z_1^2] \quad \text{(同分布)} \\ &= n \cdot \left(\text{Var}(Z_1) + (E[Z_1])^2\right) \\ &= n \cdot (1 + 0) = n \end{aligned} $$

方差

推导过程： 先计算 E[X²]： $$ \begin{aligned} E[X^2] &= E\left[\left(\sum_{i=1}^n Z_i^2\right)^2\right] \\ &= E\left[\sum_{i=1}^n Z_i^4 + 2\sum_{i<j} Z_i^2 Z_j^2\right] \\ &= n E[Z_1^4] + 2\binom{n}{2} E[Z_1^2]E[Z_2^2] \quad \text{(独立性)} \end{aligned} $$

计算 E[Z₁⁴]（标准正态的四阶矩）： 通过特征函数或直接积分： $$ E[Z^4] = \int_{-\infty}^\infty z^4 \frac{1}{\sqrt{2\pi}} e^{-z^2/2} dz = 3 $$

因此： $$ \begin{aligned} E[X^2] &= n \cdot 3 + n(n-1) \cdot 1 \cdot 1 \\ &= 3n + n^2 - n = n^2 + 2n \end{aligned} $$

最终方差： D(X) = E[X²] − (E[X])² = (n² + 2n) − n² = 2n

矩母函数 (MGF)

矩母函数定义为 M_X(t) = E[e^tX]： $$ \begin{aligned} M_X(t) &= E\left[\exp\left(t \sum_{i=1}^n Z_i^2\right)\right] \\ &= \prod_{i=1}^n E\left[e^{t Z_i^2}\right] \quad \text{(独立性)} \\ &= \left(E[e^{t Z_1^2}]\right)^n \quad \text{(同分布)} \end{aligned} $$

计算单个 E[e^tZ2]（t < 1/2）： $$ \begin{aligned} E[e^{t Z^2}] &= \int_{-\infty}^\infty e^{t z^2} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} dz \\ &= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-(1/2 - t)z^2} dz \\ &= (1 - 2t)^{-1/2} \quad \text{(高斯积分)} \end{aligned} $$

因此： $$ M_X(t) = (1 - 2t)^{-n/2}, \quad t < \frac{1}{2} $$

总结

对于 X ∼ χ²(n)，数字特征为

• 期望：n
• 方差：2n
• MGF：M_X(t) = (1 − 2t)^−n/2

t分布

重复一下分布形式

设 Z ∼ N(0, 1) 和 V ∼ χ²(n) 相互独立，则随机变量： $$ T = \frac{Z}{\sqrt{V/n}} $$ 服从自由度为 n 的t分布，记作 T ∼ t(n)。

对于 −∞ < t < ∞，其概率密度函数为： $$ f(t;n) = \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)} \left(1 + \frac{t^2}{n}\right)^{-(n+1)/2} $$

期望计算

当 n > 1 时： E[T] = 0

推导过程： $$ \begin{aligned} E[T] &= E\left[\frac{Z}{\sqrt{V/n}}\right] \\ &= E[Z] \cdot E\left[\frac{1}{\sqrt{V/n}}\right] \quad \text{(独立性)} \\ &= 0 \cdot E\left[\frac{1}{\sqrt{V/n}}\right] = 0 \end{aligned} $$ 注：当 n = 1 时（柯西分布），期望不存在

方差计算

当 n > 2 时： $$ \text{Var}(T) = \frac{n}{n-2} $$

推导过程： 先计算 E[T²]： $$ \begin{aligned} E[T^2] &= E\left[\frac{Z^2}{V/n}\right] \\ &= n E[Z^2] E\left[\frac{1}{V}\right] \quad \text{(独立性)} \\ &= n \cdot 1 \cdot E\left[\frac{1}{V}\right] \end{aligned} $$

计算 E[1/V]，其中 V ∼ χ²(n)： $$ \begin{aligned} E\left[\frac{1}{V}\right] &= \int_0^\infty \frac{1}{v} \frac{v^{n/2-1}e^{-v/2}}{2^{n/2}\Gamma(n/2)} dv \\ &= \frac{1}{2^{n/2}\Gamma(n/2)} \int_0^\infty v^{n/2-2} e^{-v/2} dv \\ &= \frac{\Gamma(n/2-1)}{2\Gamma(n/2)} \cdot 2^{n/2-1} \quad \text{(令 $u=v/2$)} \\ &= \frac{1}{2(n/2 - 1)} = \frac{1}{n-2} \end{aligned} $$

因此： $$ \text{Var}(T) = E[T^2] - (E[T])^2 = \frac{n}{n-2} - 0 = \frac{n}{n-2} $$

注：当 n ≤ 2 时方差不存在

高阶矩

当 k < n 时，k阶矩存在：

• 奇数阶矩为0（对称性）
• 偶数阶矩： $$ E[T^{2m}] = n^m \frac{\Gamma(m+1/2)\Gamma((n-2m)/2)}{\sqrt{\pi}\Gamma(n/2)}, \quad 2m < n $$

特例（峰度）： 当 n > 4 时： $$ \text{Kurtosis} = \frac{6}{n-4} $$

Γ分布

重复一下分布形式

设随机变量 X 服从形状参数为 α、尺度参数为 β 的Gamma分布，记作 X ∼ Gamma(α, β)，其概率密度函数为：

$$ f(x) = \begin{cases} \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, & x > 0 \\ 0, & x \leq 0 \end{cases} $$

其中 α > 0，β > 0，Γ(α) 是Gamma函数。

期望（数学期望）

期望 E[X] 的计算公式为：

$$ E[X] = \int_{0}^{\infty} x f(x) dx = \frac{\beta^\alpha}{\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha} e^{-\beta x} dx $$

利用Gamma函数的定义 Γ(α + 1) = αΓ(α) 和积分性质：

$$ \int_{0}^{\infty} x^{\alpha} e^{-\beta x} dx = \frac{\Gamma(\alpha+1)}{\beta^{\alpha+1}} = \frac{\alpha \Gamma(\alpha)}{\beta^{\alpha+1}} $$

因此：

$$ E[X] = \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{\alpha \Gamma(\alpha)}{\beta^{\alpha+1}} = \frac{\alpha}{\beta} $$

方差

方差 D(X) 的计算公式为：

D(X) = E[X²] − (E[X])²

计算 E[X²] $$ E[X^2] = \frac{\beta^\alpha}{\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha+1} e^{-\beta x} dx $$

利用Gamma函数性质：

$$ \int_{0}^{\infty} x^{\alpha+1} e^{-\beta x} dx = \frac{\Gamma(\alpha+2)}{\beta^{\alpha+2}} = \frac{(\alpha+1)\alpha \Gamma(\alpha)}{\beta^{\alpha+2}} $$

因此：

$$ E[X^2] = \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{(\alpha+1)\alpha \Gamma(\alpha)}{\beta^{\alpha+2}} = \frac{\alpha(\alpha+1)}{\beta^2} $$

计算方差 $$ D(X) = \frac{\alpha(\alpha+1)}{\beta^2} - \left( \frac{\alpha}{\beta} \right)^2 = \frac{\alpha}{\beta^2} $$

矩生成函数（MGF）

矩生成函数 M_X(t) 的定义为：

$$ M_X(t) = E[e^{tX}] = \frac{\beta^\alpha}{\Gamma(\alpha)} \int_{0}^{\infty} x^{\alpha-1} e^{-(\beta-t)x} dx $$

当 t < β 时积分收敛：

$$ M_X(t) = \frac{\beta^\alpha}{\Gamma(\alpha)} \cdot \frac{\Gamma(\alpha)}{(\beta-t)^\alpha} = \left( \frac{\beta}{\beta-t} \right)^\alpha $$

特征函数

特征函数 ϕ_X(t) 的定义为：

$$ \phi_X(t) = E[e^{itX}] = M_X(it) = \left( \frac{\beta}{\beta-it} \right)^\alpha $$

总结

对于Gamma分布 X ∼ Gamma(α, β)，其数字特征为：

• 期望：$E[X] = \frac{\alpha}{\beta}$
• 方差：$D(X) = \frac{\alpha}{\beta^2}$
• 矩生成函数：$M_X(t) = \left( \frac{\beta}{\beta-t} \right)^\alpha, \quad t < \beta$
• 特征函数：$\phi_X(t) = \left( \frac{\beta}{\beta-it} \right)^\alpha$

F 分布

重复一下分布形式

设 U ∼ χ²(d₁) 和 V ∼ χ²(d₂) 相互独立，则随机变量： $$ F = \frac{U/d_1}{V/d_2} $$ 服从自由度为 (d₁, d₂) 的F分布，记作 F ∼ F(d₁, d₂)。

对于 x > 0，其概率密度函数为： $$ f(x;d_1,d_2) = \frac{\Gamma\left(\frac{d_1+d_2}{2}\right)}{\Gamma\left(\frac{d_1}{2}\right)\Gamma\left(\frac{d_2}{2}\right)} \left(\frac{d_1}{d_2}\right)^{d_1/2} \frac{x^{d_1/2-1}}{\left(1 + \frac{d_1}{d_2}x\right)^{(d_1+d_2)/2}} $$

1. 与t分布的关系

若 T ∼ t(n)，则： T² ∼ F(1, n)

证明： 设 $T = Z/\sqrt{V/n}$，则： $$ T^2 = \frac{Z^2/1}{V/n} \sim F(1,n) $$ 因为 Z² ∼ χ²(1)。

倒数分布

若 F ∼ F(d₁, d₂)，则： $$ \frac{1}{F} \sim F(d_2,d_1) $$

与t分布的关系

若 T ∼ t(n)，则： T² ∼ F(1, n)

证明： 设 $T = Z/\sqrt{V/n}$，则： $$ T^2 = \frac{Z^2/1}{V/n} \sim F(1,n) $$ 因为 Z² ∼ χ²(1)。

期望计算

当 d₂ > 2 时： $$ E[F] = \frac{d_2}{d_2 - 2} $$

推导过程： $$ \begin{aligned} E[F] &= E\left[\frac{U/d_1}{V/d_2}\right] \\ &= \frac{d_2}{d_1} E[U] E\left[\frac{1}{V}\right] \quad \text{(独立性)} \\ &= \frac{d_2}{d_1} \cdot d_1 \cdot \frac{1}{d_2 - 2} \quad \text{(利用 $\chi^2$ 分布的矩)} \\ &= \frac{d_2}{d_2 - 2} \end{aligned} $$

方差计算

当 d₂ > 4 时： $$ \text{Var}(F) = \frac{2d_2^2(d_1 + d_2 - 2)}{d_1(d_2 - 2)^2(d_2 - 4)} $$

推导过程： 先计算 E[F²]： $$ \begin{aligned} E[F^2] &= \left(\frac{d_2}{d_1}\right)^2 E[U^2] E\left[\frac{1}{V^2}\right] \\ &= \left(\frac{d_2}{d_1}\right)^2 (d_1^2 + 2d_1) \cdot \frac{1}{(d_2 - 2)(d_2 - 4)} \\ &= \frac{d_2^2(d_1 + 2)}{d_1(d_2 - 2)(d_2 - 4)} \end{aligned} $$

因此方差为： $$ \begin{aligned} \text{Var}(F) &= E[F^2] - (E[F])^2 \\ &= \frac{d_2^2(d_1 + 2)}{d_1(d_2 - 2)(d_2 - 4)} - \left(\frac{d_2}{d_2 - 2}\right)^2 \\ &= \frac{2d_2^2(d_1 + d_2 - 2)}{d_1(d_2 - 2)^2(d_2 - 4)} \end{aligned} $$

高阶矩

k阶矩存在条件：d₂ > 2k $$ E[F^k] = \left(\frac{d_2}{d_1}\right)^k \frac{\Gamma\left(\frac{d_1}{2} + k\right)\Gamma\left(\frac{d_2}{2} - k\right)}{\Gamma\left(\frac{d_1}{2}\right)\Gamma\left(\frac{d_2}{2}\right)} $$

矩母函数 MGF

一般情况

对于 F ∼ F(d₁, d₂)，其矩母函数 M_F(t) = E[e^tF] 在 t ≥ 0 时不存在，因为： ∫₀^∞e^txf(x; d₁, d₂)dx  对 t > 0 发散

负半轴存在性

当 t < 0 时，矩母函数可表示为： $$ M_F(t) = \frac{\Gamma\left(\frac{d_1+d_2}{2}\right)}{\Gamma\left(\frac{d_2}{2}\right)} \left(\frac{d_2}{d_1}\right)^{d_1/2} U\left(\frac{d_1}{2}, 1-\frac{d_2}{2}, -\frac{d_2}{d_1}t\right) $$ 其中 U(a, b, z) 是合流超几何函数（Tricomi’s function）。

特殊情形 (d₂ > 2)

当 d₂ > 2 时，可展开为： $$ M_F(t) = 1 + \frac{d_2}{d_2-2}t + \frac{d_2^2(d_1+2)}{d_1(d_2-2)(d_2-4)}t^2 + O(t^3), \quad t \leq 0 $$

特征函数

积分表达式

特征函数 ϕ_F(s) = E[e^isF] 始终存在： $$ \phi_F(s) = \frac{\Gamma\left(\frac{d_1+d_2}{2}\right)}{\Gamma\left(\frac{d_2}{2}\right)} \left(\frac{d_2}{d_1}\right)^{d_1/2} \int_0^\infty e^{isx} \frac{x^{d_1/2-1}}{(1+\frac{d_1}{d_2}x)^{(d_1+d_2)/2}} dx $$

超几何函数表示

通过变量替换 $u = \frac{d_1}{d_2}x$，可得： $$ \phi_F(s) = {}_1F_1\left(\frac{d_1}{2}; \frac{d_2}{2}; -\frac{d_2}{d_1}is\right) $$ 其中 ₁F₁ 是合流超几何函数。

渐近展开

当 |s| → 0 时的近似： $$ \phi_F(s) \approx 1 + i\frac{d_2}{d_2-2}s - \frac{d_2^2(d_1+d_2-2)}{d_1(d_2-2)(d_2-4)}s^2 + O(s^3) $$

柯西分布

重复一下分布形式

设位置参数为 x₀，尺度参数为 γ > 0，其概率密度函数为： $$ f(x; x_0, \gamma) = \frac{1}{\pi\gamma \left[1 + \left(\frac{x-x_0}{\gamma}\right)^2\right]} $$

标准柯西分布 当 x₀ = 0，γ = 1 时： $$ f(x) = \frac{1}{\pi(1+x^2)} $$

稳定性

若 X₁, X₂ ∼ Cauchy(x₀, γ) 独立，则： X₁ + X₂ ∼ Cauchy(2x₀, 2γ)

倒数分布

若 X ∼ Cauchy(x₀, γ)，则： $$ \frac{1}{X} \sim \text{Cauchy}\left(\frac{x_0}{x_0^2+\gamma^2}, \frac{\gamma}{x_0^2+\gamma^2}\right) $$

期望

柯西分布的期望不存在

证明： $$ E[|X|] = \frac{1}{\pi} \int_{-\infty}^\infty \frac{|x|}{1+x^2} dx = \infty $$

方差

柯西分布的方差不存在

证明：

由于 E[X²] ≥ E[|X|]² = ∞

矩母函数 (MGF)

柯西分布的MGF不存在

证明：

对于任何 t ≠ 0： $$ E[e^{tX}] = \frac{1}{\pi} \int_{-\infty}^\in $$

$$ fty \frac{e^{tx}}{1+x^2} dx \quad \text{发散} $$

特征函数

特征函数存在： ϕ_X(s) = E[e^isX] = e^{ix₀s − γ|s|}

推导：

对于标准柯西分布 (x₀ = 0, γ = 1)： $$ \begin{aligned} \phi_X(s) &= \frac{1}{\pi} \int_{-\infty}^\infty \frac{e^{isx}}{1+x^2} dx \\ &= e^{-|s|} \quad \text{(通过复变函数留数定理)} \end{aligned} $$

高阶矩

所有阶数的矩均不存在

证明：

对于任何 k ≥ 1： $$ E[|X|^k] = \frac{1}{\pi} \int_{-\infty}^\infty \frac{|x|^k}{1+x^2} dx = \infty $$

偏度与峰度

由于矩不存在： - 偏度：未定义 - 峰度：未定义

所以，柯西分布不使用大数定律和中心极限定理