概率论

• P(Ω + ∅) = P(Ω) = 1 ⇒ P(∅) = 0.
• 有限可加性: P(A₁ + … + A_n + ∅) = P(A₁ + … + A_n). 上式中诸 A_i 若是两两互斥事件, 进而有: P(A₁ + … + A_n) = P(A₁) + … + P(A_n).
• \(P(\bar{A}) = 1 - P(A),\;P(A + \bar{A}) = P(\Omega) = 1 = P(A) + P(\bar{A}).\)
• 若 B 为 A 子集, 有 P(A - B) = P(A) - P(B), \(A - B = A \cap \bar{B}\), (A - B) + B = A. ⇒ P(A - B) + P(B) = P(A).
• 容斥原理: P(A ∪ B) = P(A) + P(B) - P(A ∩ B). 证明: A ∪ B = (A - B) + (B - A) + (AB). P(A ∪ B) = P(A - AB) + P(B - BA) + P(AB) = P(A) + P(B) - P(AB).
• P(A - B) = P(A) - P(AB).
• 一般情况下的容斥原理: \[P \left( \bigcup_{i=1}^n A_i\right) = \sum_{i=1}^nP(A_i) - \sum_{1\le i < j\le n} P(A_i A_j) + \sum_{1\le i < j < k\le n} P(A_i A_j A_k) + (-1)^{n-1}P(A_1A_2\dots A_n).\]

事件集合 {A_i, B} 满足可列个事件 A_i 两两互斥, B 是 A_i 并事件的子集. 有: \[P(B) = \sum_{i=1}^{\infty}P(A_i)P(B|A_i).\] 上式对有限集亦成立.

事件集合 {A_i, B} 满足可列个事件 A_i 两两互斥, B 是 A_i 并事件的子集. 有: \[P(A_i|B) = \frac{P(A_i)P(B|A_i)}{\sum_{j=1}^{\infty}P(A_j)\cdot P(B|A_j)}.\]

Bernoulli 实验

随机实验只有两种结果称为 Bernoulli 实验.

Bernoulli 标准模型

n 次实验,独立的实验模型称为 Bernoulli 标准模型.

其中 p, q 为正实数, p + q = 1.

• Bernoulli 实验中得到一次成功需要的实验次数 k.
• 得到第一次成功之前的失败次数 l = k -1

几何分布无记忆性: 首次成功在第 k 次的概率为 \[P(A) = q^{(k - 1)} p,\;\sum_{k=1}^{\infty}q^{(k-1)}p = \frac{p}{1-q}=1.\]

Bernoulli 标准模型下获得成功的总次数 k. 概率分布有: \[P(\chi = k) = C_n^kp^kq^{(n-k)}= b(k;n,p).\] 称 ξ 服从参数为 n,p 的二项分布, 记为 ξ ~ B(n, p),

概率质量函数有: \[P(\xi = k) = \frac{\lambda^k \mathrm{e}^{-\lambda}}{k!}.\] 称 ξ 服从参数为 λ 的 Possion 分布, 记为 ξ ~ π(λ).

对于如下概率分布表

对应的分布函数 F_ξ(x) 有:

• P(ξ < a) = F(a-).
• P(ξ = a) = F(a) - F(a-).
• P(ξ > a) = 1 - F(a).
• P(a < ξ < b) = F(b-) - F(a).

• 单调性: a < b ⇒ F(a) ≥ F(b)
• 规范性: x→∞ 时 F(x) = 1; x→ 0 时 F(x) = 0.
• 右连续性: F(x+) = F(x).

反过来,具有以上三条性质即可作为分布函数.

• 非负性: ϕ(x) ≥ 0.
• 归一性: \[\int_{-\infty}^{+\infty}\varphi(x)\mathrm{d}x = F(\infty) = 1.\]
• 概率密度函数与事件概率关系: \[P(a < \xi \le b) = \int_a^b\varphi(x)\mathrm{d}x.\] 有推论: P(ξ = c) = 0. 注意虽然 P(ξ = c) = 0, 但 χ = c 不是不可能事件.

同样地,满足以上三条性质的函数即可作为密度函数.

对应分布函数有:

样本空间 Ω 为 [a, b] 上几何概率. 记作 ξ ~ U(a, b).

随机变量 ξ 服从参数 λ 的指数分布, 记作 ξ ~ E(λ).

\[\varphi(x) = \frac{1}{\sqrt{2\pi\sigma}} \exp \left[ -\frac{(x-\mu)^2}{2\sigma^2} \right], \;x\in \mathbb{R}.\] 称 ξ 服从平均数 μ, 标准差 σ 的正态分布, 记作 ξ ~ N(μ, σ²).

对二维随机变量 (ξ, η), F_{(ξ, η)}(x, y) = P(ξ ≤ x, η ≤ y) 为 (ξ, η) 的联合分布函数.

• ϕ(x, y) ≥ 0
• ϕ(x, y) 在二维平面上全积分为 1.
• 密度函数是分布函数在 (x, y) 的二阶混合偏导数: \[\frac{\partial^2 F}{\partial x\partial y} = \varphi(x ,y).\]
• 密度函数在平面区域 D 积分等于 (ξ, η) ∈ D 概率. \[\iint_D \varphi(x)\mathrm{d}x \mathrm{d}y = P\left[(\xi, \eta)\in D \right].\]

易得连续变量 (ξ, η) 中 ξ, η 的边缘分布函数分别为:

• 取 \(\varphi_{\xi}(x) = \int_{-\infty}^{\infty}\varphi(x, y)\mathrm{d}y\) \[F_{\xi}(x) = F(x, \infty) = \int_{-\infty}^x \left( \int_{-\infty}^{\infty}\varphi(s, t)\mathrm{d}t \right)\mathrm{d}s = \int_{-\infty}^x\varphi_{\xi}(s)\mathrm{d}s.\]
• 取 \(\varphi_{\eta}(y) = \int_{-\infty}^{\infty}\varphi(x, y)\mathrm{d}x\) \[F_{\eta}(x) = F(\infty, y) = \int_{-\infty}^y \left( \int_{-\infty}^{\infty}\varphi(s, t)\mathrm{d}s \right)\mathrm{d}t = \int_{-\infty}^y\varphi_{\eta}(t)\mathrm{d}t.\]

若有 F(x, y) = F_ξ(x)F_η(y), 则称随机变量 ξ, η 相互独立.

• 对于连续性随机变量, 有 ϕ(x, y) = ϕ_ξ(x)ϕ_η(y).
• 对于离散型随机变量, P(ξ = x_i, η = y_j) = P(ξ = x_i)P(η = y_j).

对于密度函数为 ϕ(x, y) 的随机变量 (ξ, η), ζ = ξ + η 仍为连续性随机变量, 其概率密度为: \[\varphi_{\zeta}(z) =\int_{-\infty}^{\infty}\varphi(z - y, y)\mathrm{d}y = \int_{-\infty}^{\infty}\varphi(x, z - x)\mathrm{d}x.\] 当 ξ, η 相互独立时, 有 ϕ(z - y, y) = ϕ_ξ(z - y)ϕ_η(y), ϕ(x, z - x) = ϕ_ξ(x)ϕ_η(z - x). 由是定义:

卷积 \(f_{\xi} \ast f_{\eta}\)

\[(f_{\xi} \ast f_{\eta})(z) = \int_{-\infty}^{\infty}f_{\xi}(z - y)\mathrm{d}y= \int_{-\infty}^{\infty}f_{\xi}(x)f_{\eta}(z - x)\mathrm{d}x.\]

二维正态分布 (ξ, η) ~ N(μ₁, μ₂, σ₁², σ₂², ρ) 中 ξ, η 相互独立 ⇔ ρ = 0.

相互独立的多维正态分布的线性组合仍为正态分布.

• 离散型: \[E(f(\xi)) = \sum_{i=1}^{\infty}p_i f(x_i)\]
• 连续型: \[E(f(\xi)) = \int_{-\infty}^{\infty}f(x)\varphi(x)\mathrm{d}x.\]

显然普通期望 E(ξ) 为 f(ξ) = ξ 的特殊情况.

• E(c) = c, c 为常数.
• E(cξ) = cE(ξ), c 为常数.
• E(ξ + η) = E(ξ) + E(η).
• 若 ξ, η 相互独立, 则 E(ξη) = E(ξ)E(η).

• 0-1 分布: E(ξ) = p.
• 几何分布 P(ξ = k) = p(1 - p)^k-1: \[E(\xi) = p\sum_{k=1}^{\infty}k(1-p)^{k-1} = \frac{1}{p}\]
• 二项分布 P(ξ = k) = b(k; n, p): \[E(\xi) = \sum_{k=0}^n C_n^kp_kq^{n-k} = np(q+p)^{n+1} = np.\]
• Possion 分布: \[E(\xi) = \sum_{k=0}^{\infty}\frac{k\lambda^k \mathrm{e}^{-\lambda}}{k!} = \lambda \mathrm{e}^{-\lambda}\sum_{k=1}^{\infty}\frac{\lambda^{k-1}}{(k-1)!} = \lambda.\]
• 均匀分布 ξ ~ U(a, b): E(ξ) = (a + b) / 2.
• 正态分布 ξ ~ N(μ, σ²): E(ξ) = μ.

• D(c) = 0, c 为常数
• D(kξ) = k² D(ξ). k 为常数, ξ 为随机变量.
• D(∑ ξ_i) = ∑ D(ξ_i). 其中 ξ_i 为 n 个独立分布的随机变量.
• 若 ξ_i i = 1, …, n 两两独立, 分布相同, 则有: \[E \left( \frac{1}{n} \sum_{i=1}^n\xi_i \right) = \frac{1}{n} E\left( \sum_{i=1}^n\xi_i \right) = E(\xi_i), \;D \left( \frac{1}{n} \sum_{i=1}^n\xi_i \right) = \frac{1}{n^2} D\left( \sum_{i=1}^n\xi_i \right) = \frac{1}{n}D(\xi_i).\] 即重复实验次数越多,方差越小.

• 几何分布: D(ξ) = q² / p.
• 二项分布 ξ ~ B(n, p): D(ξ) = npq.
• Possion 分布 ξ ~ π(λ): D(ξ) = λ
• 均匀分布 ξ ~ U(a, b): D(ξ) = (a - b)² / 12
• 指数分布 ξ ~ E(λ): \[D(\xi)=\int_0^{\infty}\left( \frac{x-1}{\lambda} \right)^2 \lambda \mathrm{e}^{-\lambda x}\mathrm{d}x = \frac{1}{\lambda^2}\]
• 正态分布 ξ ~ N(μ, σ²): D(ξ) = σ²

反映多维随机变量中各变量之间相关程度. 设 (ξ, η) 为二维随机变量, ξ, η 协方差为: \[\text{cov}(\xi, \eta) = E\left[(\xi - E(\xi))(\eta - E(\eta))\right] = E(\xi\eta) - E(\xi)E(\eta).\]

当 D(ξ), D(η) ≠ 0 时, 定义

相关系数

\[\rho(\xi, \eta) = \frac{\text{cov}(\xi, \eta)}{\sqrt{D(\xi)D(\eta)}} = \frac{\text{cov}(\xi, \eta)}{\sigma_{\xi}\sigma_{\eta}}.\]

对于 n 维随机变量, 有 n 阶协方差矩阵 [cov(ξ_i, ξ_j)]_{n × n}.

• ρ(ξ, η) 绝对值为 1 ⇔ 存在非零实数 a 与实数 b, 满足 P(η = aξ + b) = 1. 即 η 是 ξ 的线性组合.
• 若 ρ(ξ, η) 为零, 则称 ξ, η 不相关. 显然独立变量一定不相关, 但不相关变量不一定相互独立.
• 当 (ξ, η) 服从 N(μ₁, μ₂, σ₁², σ₂², ρ) 时, ξ, η 不相关 ⇔ ρ(ξ, η) = ρ = 0.

随机变量 ξ ~ B(n, p), 当 n → ∞ 时, 有: \[P(a < \xi \le b)\approx \Phi_0 \left( \frac{b-np}{\sqrt{npq}} \right) - \Phi_0 \left( \frac{a-np}{\sqrt{npq}} \right)\]

随机变量 ξ ~ B(n, p), 当 n → ∞ 时, 有: \[P(\xi = k) = p_k \approx \frac{1}{\sqrt{npq}}\varphi_0 \left( \frac{k -np}{\sqrt{npq}} \right).\] n 较大, p 大小适中时, 近似结果比较精确.