数理统计

设 X₁, X₂, …, X_n 相互独立, X_i ~ N(0, 1). 则 \(\chi^2 = \sum_{i=1}^n X_i\) 称为自由度为 n 的 χ² 分布, 记作 χ² ~ χ²(n).

• 密度函数在正实数域有 \[\varphi_{\chi^2}(x) = \frac{x^{\frac{n}{2}-1}\mathrm{e}^{-\frac{x}{2}}} {2^{\frac{n}{2}} \Gamma \left( \frac{n}{2} \right)}.\] x ≤ 0 时显然密度函数为零.
• 期望 E(χ²) = n,
• 方差 D(χ²) = 2n.
• χ² 可加性: 对于随机变量 X ~ χ²(n₁), Y ~ χ²(n₂), 有 Z = X + Y ~ χ²(n₁ + n₂).

设随机变量 X ~ N(0, 1), Y ~ χ²(n), 有 \[T = \frac{X}{\sqrt{Y/n}}\] 称为服从自由度为 n 的 t 分布, 记作 T ~ t(n). 其密度函数为 \[\varphi_t(x) = \frac{\Gamma \left( \frac{n+1}{2} \right)} {\sqrt{n\pi}\Gamma \left( \frac{n}{2} \right)} \left( 1 + \frac{x^2}{n} \right)^{-\frac{n + 1}{2}},\; x\in \mathbb{R}.\] 当 n 足够大时, 有 \[\lim_{n\rightarrow\infty}\varphi_t(x) = \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-\frac{x^2}{2}},\; x\in \mathbb{R}.\]

• n = 1 时, t 分布数学期望不存在;
• n > 1 时, 期望 E(t) = 0;
• n > 2 时, 方差 D(t) = n / (n - 2).

设 X ~ χ²(n₁), Y ~ χ²(n₂), X, Y 相互独立. 有 \[F = \frac{X/n_1}{Y/n_2}\] 称为服从第一自由度 n₁, 第二自由度 n₂ 的 F 分布, 记作 F ~ F(n₁, n₂).

• n > 2 时, 数学期望有: \[E(F) = \frac{n}{n-2}.\]
• n > 4 时, 方差有: \[D(F) = \frac{2n_2^2(n_1 + n_2 -2)}{n_1(n_2 - 2)^2(n_2 - 4)}.\]

设 (X₁, X₂, …, X_n) 是取自总体 X 的样本. X_i ~ N(μ, σ²). 则

• \(\bar{X} \sim N(\mu, \sigma^2/n)\). 可得 \[\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)\]
• \(\frac{n - 1}{\sigma^2} S^2 \sim \chi^2(n - 1)\). 可得 \[\frac{\bar{X} - \mu}{S/\sqrt{n}} = \frac{\frac{\bar{X} - \mu}{\sigma/\sqrt{n}}} {\sqrt{\frac{n-1}{\sigma^2(n-1)} S^2}} \sim t(n - 1).\]

设 {X_i} 取自 N(μ₁, σ²), Y_i 取自 N(μ₂, σ²). X, Y 相互独立. 则有 \[\frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)} {S_W \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2).\] 其中 \[S_W = \sqrt{\frac{(n_1 - 1)S_X^2 + (n_2 - 1)S_Y^2}{n_1 + n_2 - 2}}.\]

设 {X_i} 取自 N(μ₁, σ²), Y_i 取自 N(μ₂, σ²). X, Y 相互独立. 则有 \[\left( \frac{\sigma_2}{\sigma_1} \right)^2 \frac{S_X^2}{S_Y^2}\sim F(n_1 - 1, n_2 - 1).\] 证明略.

设 X 为

• 连续型随机变量, 其概率密度函数为 ϕ(x; θ_i), i = 1, .., k.
• 或离散型变量, 分布律为 P(X = x) = p (x; θ_i).

设总体 X 的前 k 阶矩分别为: (l = 1, 2, …, k.)

• 连续型: \[\mu_l = E(X^l) = \int_{-\infty}^{\infty}x^l\varphi(x;\theta_i)\]
• 离散型: \[\mu_l = E(X^l) = \sum_{x\in R_X}x^lp(x;\theta_i)\]

由方程组 \(\mu_l = \mu_l(\theta_i)\) 可得矩估计量 \(\hat{\theta}_i\): \(\theta_i = \theta_i (\mu_l)\).

矩估计量的观察值称为矩估计值.

设分布函数 F(x) = P(X ≤ x) = F(x, θ_j), j = 1, 2, …, k. 概率值最大点在实验中出现的可能性也最大. 因而观察到观察值 {x_i}, i = 1, 2, …, n 意味着其出现的概率最大. 而促使观察值概率最大的因素是参数 {θ_i}. 即 \[P(\bigcap_{i=1}^n X_i \in O(x_1, \delta)) = \prod_{i=1}^nP(X_i\in O(x_i, \delta) = \prod_{i=1}^n\int_{x_i-\delta}^{x_i+\delta}\varphi(t; \theta_j)\mathrm{d}t_i.\] 在同等容积下最大, 即下式取最大值: \[\lim_{\delta\rightarrow 0+} \left[ \prod_{i=1}^n\int_{x_i-\delta}^{x_i+\delta} \varphi(t; \theta_i)\mathrm{d}t_i \right]\cdot (2\delta)^{-n} = \prod_{i=1}^n\varphi(x_i;\theta_j)\] 进而构造极大似然函数: \[L(x_i;\theta_j) = \prod_{i=1}^n\varphi(x_i;\theta_j).\] L 取极大 ⇒ 非条件极值, 考虑到很多时候 L(θ) 与 ln L(θ) 同步增减 ⇒ L 取极值 ln L 也取极值. 可由方程组 \[\left\{ \frac{\mathrm{d}L}{\mathrm{d}\theta_j} \Big| j = 1, 2, \dots, k\right\}, \;\left\{\frac{\mathrm{d}\ln L}{\mathrm{d}\theta_j}\Big|j=1,2,\dots,k\right\}.\] 求解 \((\hat{\theta}_1, \hat{\theta}_2, \dots,\hat{\theta}_k)\).

对最大似然估计, 设 u = u(θ), 存在 θ = θ(u) ⇒ \(\hat{u} = u(\hat{\theta})\).

• 无偏性: \(E(\hat{\theta}) = \theta\).
• 有效性: \(\hat{\theta}_1, \hat{\theta}_2\) 均无偏, \(D(\hat{\theta}_1) < D(\hat{\theta}_2)\) ⇐ \(\hat{\theta}_1\) 较 \(\hat{\theta}_2\) 有效
• 相合/一致性: 任取 ε 大于零, 有: \[\lim_{n\rightarrow\infty}P(|\hat{\theta} - \theta| < \varepsilon) = 1.\] 相合性是对一个估计量最基本的要求.

• σ² 已知时, 有 \[P \left( \left| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \right| < u_{\alpha/2}\right) = 1 - \alpha\] 可得 μ 置信度为 1 - α 的置信区间: \[\left( \bar{X} - \frac{\sigma}{\sqrt{n}}u_{\alpha/2}, \bar{X} + \frac{\sigma}{\sqrt{n}}u_{\alpha/2} \right).\]
• σ² 未知时, 因为: \[T=\frac{\bar{X}-\mu}{S\sqrt{n}}\sim t(n-1)\] 有: \[P \left( \left| \frac{\bar{X}-\mu}{S/\sqrt{n}} \right| < t_{\frac{\alpha}{2}}(n-1)\right) = 1 - \alpha\] 可得 μ 置信度为 1 - α 的置信区间: \[\left( \bar{X} - \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1), \bar{X} + \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) \right).\]

因为 \[\frac{(n-1)}{\sigma^2}S^2 \sim \chi^2(n-1)\] 有 \[P \left( \chi_{1-\alpha/2}^2(n-1) < \frac{(n-1)}{\sigma^2}S^2 < \chi_{\alpha/2}^2(n-1)\right) = 1-\alpha\] 可得 σ² 置信度为 1 - α 的置信区间: \[\left( \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)}, \frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)}\right)\]

• σ₁², σ₂² 已知. 因为 \[\frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)} {\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_1}}} \sim N(0, 1)\] 可得 (μ₁ - μ₂) 置信度为 1 - α 的置信区间: \[\left( (\bar{X} - \bar{Y}) - u_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_1}}, (\bar{X} - \bar{Y}) + u_{\alpha/2} \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_1}} \right).\]
• σ₁² = σ₂² = σ², σ² 未知. 因为 \[\frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)} {S_W \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2).\] 其中 \[S_W = \sqrt{\frac{(n_1 - 1)S_X^2 + (n_2 - 1)S_Y^2}{n_1 + n_2 - 2}}.\] 有: \[P \left( \left| \frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)} {S_W \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \right| < t_{\frac{\alpha}{2}}(n_1 + n_2 - 2) \right) = 1 - \alpha\] 可得 (μ₁ - μ₂) 置信度为 1 - α 的置信区间: \[\left( \bar{X} - \bar{Y} - t_{\frac{\alpha}{2}}(n_1 + n_2 - 2) S_W\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}, \bar{X} - \bar{Y} + t_{\frac{\alpha}{2}}(n_1 + n_2 - 2) S_W\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}, \right).\]

因为 \[\left( \frac{\sigma_2}{\sigma_1} \right)^2 \frac{S_X^2}{S_Y^2}\sim F(n_1 - 1, n_2 - 1).\] 有: \[P \left( F_{1-\alpha/2}(n_1 - 1, n_2 - 1) < \left(\frac{\sigma_2}{\sigma_1} \right)^2 \frac{S_X^2}{S_Y^2} < F_{\alpha/2}(n_1 - 1, n_2 - 1) \right) = 1 - \alpha\] 可得 σ₁² / σ₂² 置信度为 1 - α 的置信区间: \[\left( \frac{S_X^2}{S_Y^2}(F_{\alpha/2}(n_1 - 1, n_2 - 1))^{-1}, \frac{S_X^2}{S_Y^2}(F_{1-\alpha/2}(n_1 - 1, n_2 - 1))^{-1} \right).\]

• 零假设 H₀: θ = θ₀;
• 备择假设 H₁: θ ≠ θ₀. (或 H₀ : θ ≤ θ₀, H₁: θ > θ₀)

设有置信度为 1 - α 的置信区间 (θ₁, θ₂). 设 H₀ 为真等价于: 若 θ ∈ (θ₁, θ₂) P(¬ H₀) ≤ α. 发生 H₀ 不为真则拒绝 H₀, 即 H₁. 可得

• 接受域
• 拒绝域