一文精通概率论

一文精通系列的第 1 篇文章。本系列目的是尽量简洁清晰地介绍对一整块事情的理解，便于回顾。
更新记录：
2025.01.05 完成 v1.0 版（整理了普林斯顿概率论读本的一些重要概念和结论）

前置知识

等差数列求和：Sn=a 1+a 2+...an=n∗(a 1+an)2 S_n = a_1+a_2+...a_n=\frac{n*(a_1+a_n)}{2}Sn​=a1​+a2​+...an​=2n∗(a1​+an​)​
等比数列求和：Sn=1+r+r 2+r 3+...+rn=1−r n+11−r S_n = 1+r+r^2+r^3+...+r^n=\frac{1-r^{n+1}}{1-r}Sn​=1+r+r2+r3+...+rn=1−r1−rn+1​

排列数：Anm=n!(n−m)!A_n^m = \frac{n!}{(n-m)!}Anm​=(n−m)!n!​
组合数：Cnm=n!m!(n−m)!C_n^m = \frac{n!}{m!(n-m)!}Cnm​=m!(n−m)!n!​

原函数：

如果F′(x)=f(x)F'(x)=f(x)F′(x)=f(x)，则称 F 是 f 的一个原函数，或者 f 的一个 （不定）积分

原函数不唯一，同一个 f 的不同原函数，一定相差一个常数

微积分基本定理：设 f 是一个分段连续函数，F 是 f 的任意一个原函数。那么∫ab f(x)dx=F(b)−F(a)\int_a^bf(x)dx=F(b)-F(a)∫ab​f(x)dx=F(b)−F(a)。
在曲线 y=f (x) 下方、介于 x=a 和 x=b 之间的面积就等于，f 的原函数在 b 处的值减去 f 在原函数在 a 处的值。

泰勒级数：如果 f 是 n 次可微分的，那么 f 在 a 点处的 n 阶泰勒级数就是
Tn(x):=∑k=0 n f(k)(a)k!(x−a)k T_n(x) := \sum_{k=0}^n \frac{f^{(k)}(a)}{k!}(x-a)^kTn​(x):=∑k=0n​k!f(k)(a)​(x−a)k
原点 (a=0) 处的泰勒级数，又称作麦克劳林级数。

基本概率定理

条件概率：Pr(A∣B)=Pr(A∩B)Pr(B)Pr(A|B) = \frac{Pr(A \cap B)}{Pr(B)}Pr(A∣B)=Pr(B)Pr(A∩B)​
独立性：如果事件 A 和 B 满足Pr(A∩B)=Pr(A)∗Pr(B)Pr(A \cap B) = Pr(A) * Pr(B)Pr(A∩B)=Pr(A)∗Pr(B)，则 A 和 B 独立
可交换性：Pr(A∩B)=Pr(B∩A)Pr(A\cap B) = Pr(B\cap A)Pr(A∩B)=Pr(B∩A)
全概率公式：如果{B 1,B 2,...}\{B_1, B_2, ...\}{B1​,B2​,...}构成了样本空间 S 的一个划分（分成了至多可数个部分），那么对于任意A⊂S A \subset SA⊂S，有Pr(A)=∑n Pr(A∣Bn)⋅Pr(Bn)Pr(A) = \sum_n Pr(A|B_n) \cdot Pr(B_n)Pr(A)=∑n​Pr(A∣Bn​)⋅Pr(Bn​)
贝叶斯定理：设{Ai}i=1 n\{A_i\}_{i=1} ^ n{Ai​}i=1n​是样本空间的一个划分，那么Pr(A∣B)=Pr(B∣A)⋅Pr(A)∑i=1 n Pr(B∣Ai)⋅Pr(Ai)Pr(A|B) = \frac {Pr(B|A) \cdot Pr(A)}{\sum_{i=1}^n Pr(B|A_i) \cdot Pr(A_i)}Pr(A∣B)=∑i=1n​Pr(B∣Ai​)⋅Pr(Ai​)Pr(B∣A)⋅Pr(A)​。（条件概率的基础上，分子用可交换性 + 条件概率做变换，分母是全概率公式）

随机变量

离散型随机变量

概率密度函数 (PDF)：fX(x)=Prob(w∈Ω:X(w)=x)f_X(x)=Prob(w \in \Omega: X(w)=x)fX​(x)=Prob(w∈Ω:X(w)=x)

累计分布函数 (CDF)：FX(x)=Prob(w∈Ω:X(w)≤x)F_X(x)=Prob(w \in \Omega: X(w) \leq x)FX​(x)=Prob(w∈Ω:X(w)≤x)

连续型随机变量

设 X 是一个随机变量，如果存在一个实值函数fX f_XfX​满足：fX f_XfX​是一个分段连续函数、fX(x)≥0 f_X(x)\geq0fX​(x)≥0、∫−∞+∞fX(t)dt=1\int_{-\infty}^{+\infty}f_X(t)dt=1∫−∞+∞​fX​(t)dt=1，那么 X 是一个连续型随机变量，fX f_XfX​是 X 的概率密度函数。

累计分布函数 (CDF)：FX(x)=Prob(X≤x)=∫−∞x fX(t)dt F_X(x)=Prob(X \leq x)=\int_{-\infty}^xf_X(t)dtFX​(x)=Prob(X≤x)=∫−∞x​fX​(t)dt

期望值：设 X 是定义在 R 上的随机变量，它的概率密度函数是fX f_XfX​，函数g(X)g(X)g(X)的期望值是

Copy E[g(X)]={∫−∞+∞g(x)∗fX(x)dx若 X 连续∑n g(xn)∗fX(xn)若 X 离散 E[g(X)] = \begin{cases} \int_{-\infty}^{+\infty}g(x)*f_X(x)dx & 若X连续 \\ \sum_n g(x_n) * f_X(x_n) & 若X离散 \end{cases}E[g(X)]={∫−∞+∞​g(x)∗fX​(x)dx∑n​g(xn​)∗fX​(xn​)​若X连续若X离散​

如果g(x)=xr g(x)=x^rg(x)=xr，E[Xr]E[X^r]E[Xr]称为 X 的r 阶矩，把E[(X−E[X])r]E[(X-E[X])^r]E[(X−E[X])r]称为 X 的r 阶中心矩
（为什么要关心矩：和知道的泰勒系数越多，对函数逼近越好类似。知道更多的能更好地理解概率密度函数的形状的性质）

X 的均值（平均值、期望值，记作μ\muμ）是一阶矩
E[X]=μ=∫−∞+∞x∗fX(x)dx E[X]=\mu=\int_{-\infty}^{+\infty} x * f_X(x)dxE[X]=μ=∫−∞+∞​x∗fX​(x)dx

X 的方差（记作σX 2\sigma_X^2σX2​或Var(X)Var(X)Var(X)）是二阶中心矩，g(X)=(X−μX)2 g(X)=(X-\mu_X)^2g(X)=(X−μX​)2的期望值。
E[(X−E[X])2]=E[X 2]−E[X]2=σX 2=∫−∞+∞(x−μX)2∗fX(x)dx E[(X-E[X])^2]=E[X^2]-E[X]^2=\sigma_X^2=\int_{-\infty}^{+\infty} (x-\mu_X)^2 * f_X(x)dxE[(X−E[X])2]=E[X2]−E[X]2=σX2​=∫−∞+∞​(x−μX​)2∗fX​(x)dx

标准差是方差的平方根，σX=σX 2\sigma_X=\sqrt{\sigma_X^2}σX​=σX2​ ​

设 X、Y、Z 都是连续型随机变量，
联合概率密度函数：Prob((X,Y,Z)∈S)=∭Sf X,Y,Z(x,y,z)dx dy dz Prob((X,Y,Z)\in S) = \iiint_S f_{X,Y,Z}(x,y,z)dx\,dy\,dz Prob((X,Y,Z)∈S)=∭S​fX,Y,Z​(x,y,z)dxdydz
X 的边缘概率密度函数：fX(x)=∫y=−∞+∞∫z=−∞+∞f X,Y,Z(x,y,z)dy dz f_X(x) = \int_{y=-\infty}^{+\infty} \int_{z=-\infty}^{+\infty} f_{X,Y,Z}(x,y,z) dy\,dzfX​(x)=∫y=−∞+∞​∫z=−∞+∞​fX,Y,Z​(x,y,z)dydz

期望的性质：

和的期望等于期望的和：E[a 1g 1(X 1)+a 2g 2(X 2)]=a 1 E[g 1(X 1)]+a 2 E[g 2(X 2)]E[a_1g_1(X_1)+a_2g_2(X_2)]=a_1E[g_1(X_1)] + a_2E[g_2(X_2)]E[a1​g1​(X1​)+a2​g2​(X2​)]=a1​E[g1​(X1​)]+a2​E[g2​(X2​)]

设 X 是一个随机变量，均值为μX\mu_XμX​，方差为σX 2\sigma_X^2σX2​。那么随机变量Y=aX+b Y=aX+bY=aX+b的均值方差分别为：μY=a∗μX+b\mu_Y=a*\mu_X+bμY​=a∗μX​+b和σY 2=a 2 σX 2\sigma_Y^2=a^2\sigma_X^2σY2​=a2σX2​

设 X 是一个随机变量，那么 σX 2=E[X 2]−E[X]2\sigma_X^2=E[X^2]-E[X]^2σX2​=E[X2]−E[X]2

均值和方差的性质：

如果 X 和 Y 是相互独立的随机变量，那么E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y]，并且E[(X−μX)(Y−μY)]=E[X−μX]E[Y−μY]=0 E[(X-\mu_X)(Y-\mu_Y)]=E[X-\mu_X]E[Y-\mu_Y]=0E[(X−μX​)(Y−μY​)]=E[X−μX​]E[Y−μY​]=0

随机变量之和的均值和方差：设X 1,X 2,...,Xn X_1,X_2,...,X_nX1​,X2​,...,Xn​是 n 个随机变量，他们的均值分别为μ X 1,μ X 2,...,μ Xn\mu_{X_1},\mu_{X_2},...,\mu_{X_n}μX1​​,μX2​​,...,μXn​​，方差是σ X 1 2,σ X 2 2,...,σ Xn 2\sigma^2_{X_1},\sigma^2_{X_2},...,\sigma^2_{X_n}σX1​2​,σX2​2​,...,σXn​2​。
设X=X 1+X 2+...+Xn X=X_1+X_2+...+X_nX=X1​+X2​+...+Xn​，那么 X 的均值为μX=μ X 1+μ X 2+...+μ Xn\mu_X=\mu_{X_1}+\mu_{X_2}+...+\mu_{X_n}μX​=μX1​​+μX2​​+...+μXn​​
当随机变量之间相互独立时，σX 2=σ X 1 2+σ X 2 2+...+σ Xn 2\sigma_X^2=\sigma^2_{X_1}+\sigma^2_{X_2}+...+\sigma^2_{X_n}σX2​=σX1​2​+σX2​2​+...+σXn​2​

协方差：σ XY=Cov(X,Y)=E[(X−μX)(Y−μY)]=E[XY]−μXμY\sigma_{XY}=Cov(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]=E[XY]-\mu_X\mu_YσXY​=Cov(X,Y)=E[(X−μX​)(Y−μY​)]=E[XY]−μX​μY​
相互独立的两个随机变量协方差为 0，但是协方差为 0 不代表独立（eg, X 是一个均值为 0 的对称分布随机变量，Y=X 2 Y=X^2Y=X2）
如果X=X 1+X 2+...+Xn X=X_1+X_2+...+X_nX=X1​+X2​+...+Xn​，那么Var(X)=∑i=1 n Var(Xi)+2∑1≤i<j≤n Cov(Xi,Xj)Var(X)=\sum_{i=1}^nVar(X_i)+2\sum_{1\leq i \lt j \leq n }Cov(X_i, X_j)Var(X)=∑i=1n​Var(Xi​)+2∑1≤i<j≤n​Cov(Xi​,Xj​)

相关系数（本质是对协方差的标准化）：ρ=Cov(X,Y)σXσY\rho=\frac{Cov(X,Y)}{\sigma_X \sigma_Y}ρ=σX​σY​Cov(X,Y)​
协方差 / 相关系数，描述的是两个变量之间的线性相关性

特殊分布

名称 | 概率密度函数 | 均值μ\muμ | 方差 σ 2\sigma^2σ2 | 备注
伯努利分布 X∼Bern(p)X \sim Bern(p)X∼Bern(p) | Prob(X=x)={p如果 x=11−p如果 x=0 Prob(X=x)=\begin{cases} p & 如果x=1 \\ 1-p & 如果x=0 \end{cases}Prob(X=x)={p1−p​如果x=1如果x=0​ | p | p(1-p) |
二项分布 X∼Bin(n,p)X \sim Bin(n,p)X∼Bin(n,p) | Prob(X=k)={Cnk pk(1−p)n−k如果 k∈{0,1,...n}0其他 Prob(X=k)=\begin{cases} C_n^kp^k(1-p)^{n-k} & 如果k \in \{0,1,...n\} \\ 0 & 其他 \end{cases}Prob(X=k)={Cnk​pk(1−p)n−k0​如果k∈{0,1,...n}其他​ | np | np(1-p) | n 枚独立硬币，正面的次数
几何分布 X∼Geom(p)X \sim Geom(p)X∼Geom(p) | Prob(X=n)={p(1−p)n−1如果 n∈{0,1,...n}0其他 Prob(X=n)=\begin{cases} p(1-p)^{n-1} & 如果n \in \{0,1,...n\} \\ 0 & 其他 \end{cases}Prob(X=n)={p(1−p)n−10​如果n∈{0,1,...n}其他​ | frac 1 p frac{1}{p}frac1p | 1−p p 2\frac{1-p}{p^2}p21−p​ | 首次抛出正面时，已经完成的试验次数
| | | |
指数分布 X∼Exp(λ)X \sim Exp(\lambda)X∼Exp(λ) | fX(x)={1 λ e−x/λ如果 x≥00其他 f_X(x)=\begin{cases} \frac{1}{\lambda}e^{-x/\lambda} & 如果x \geq 0 \\ 0 & 其他 \end{cases}fX​(x)={λ1​e−x/λ0​如果x≥0其他​ | λ\lambdaλ | λ 2\lambda^2λ2 |
正态分布 X∼N(μ,σ 2)X \sim N(\mu, \sigma^2)X∼N(μ,σ2) | fX(x)=1 2 π σ e−(x−μ)22 σ 2 f_X(x) = \frac{1}{\sqrt{2 \pi}\sigma} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}fX​(x)=2π ​σ1​e−2σ2(x−μ)2​ | μ\muμ | σ 2\sigma^2σ2 |

生成随机数的累积分布法（逆变换法）：设 X 是一个随机变量，它的概率密度函数是fX f_XfX​，累积分布函数是FX F_XFX​。如果 Y 是一个服从 [0,1] 上均匀部分的随机变量，那么X=FX−1(Y)X=F^{-1}_X(Y)X=FX−1​(Y)
（可参考：渲染与采样（1）：逆变换采样（Inverse Transform Sampling）— 原理与实际应用 - ZUIcat 的文章 - 知乎）

假设检验

原假设：通常与想证明的结论相反。假定原假设正确，试图用数据来推翻它。
备择假设：想证明的结论。

z 检验

设 X 是一个服从正态分布的随机变量，且其方差是已知的 σ 2\sigma^2σ2，并假设其均值为μ\muμ

设x 1,x 2,...,xn x_1, x_2, ..., x_nx1​,x2​,...,xn​是从该分布中取出的 n 个相互独立的观测值，设x ˉ=x 1+x 2+...+xn n\bar x = \frac{x_1+x_2+...+x_n}{n}xˉ=nx1​+x2​+...+xn​​是样本均值

观测到的z 检验统计量：z=x ˉ−μ σ 2/n z=\frac{\bar x - \mu}{\sqrt{\sigma^2/n}}z=σ2/n ​xˉ−μ​。服从均值为 0，且方差为 1 的正态分布

根据 z 检验统计量偏离 0 的概率（p 值），如果p<显著性水平 α p<显著性水平\alphap<显著性水平α，则拒绝原假设。（p 实际在表达在原假设成立的前提下，观测到当前样本数据的概率）

单侧检验、双侧检验：区别在于关注被测量的参数大于（或小于）某个值，还是关注被测量的参数与某个值有很大不同

t 检验

如果不知道方差的任何信息，则需要通过计算样本方差来估算方差
s 2=1 n−1∑i=1 n(xi−x ˉ)2 s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar x)^2s2=n−11​∑i=1n​(xi​−xˉ)2

与常规方差相比，这里的分母是 n-1。（当只有 1 条样本时，实际上是无法估算方差的）

t 检验统计量：t=x ˉ−μ s 2/n∼t n−1 t=\frac{\bar x - \mu}{\sqrt{s^2/n}} \sim t_{n-1}t=s2/n ​xˉ−μ​∼tn−1​，服从 n-1 阶的 t 分布。（对应地需要根据 t 分布去计算 p 值；t 分布阶数越多，越逼近正态分布）