第一部分概率论Probability Theory一、随机事件与概率1.1 基本概念术语定义示例随机试验在相同条件下可重复结果不唯一但可预知的试验掷骰子、抛硬币样本空间 Ω随机试验所有可能结果的集合Ω{1,2,3,4,5,6}样本点 ω样本空间中的单个元素ω3掷出3点随机事件 A样本空间的子集A{2,4,6}掷出偶数必然事件每次试验必然发生Ω本身掷出点数≤6不可能事件每次试验都不发生∅掷出点数61.2 事件的关系与运算运算符号含义包含A⊂BA发生则B发生相等ABA⊂B且B⊂A并和A∪BA、B至少一个发生交积A∩B或ABA、B同时发生差A−B或A\BA发生但B不发生互斥A∩B∅不能同时发生对立Ā或AᶜA不发生完备事件组∪AᵢΩ且两两互斥划分样本空间运算律交换律A∪BB∪AA∩BB∩A结合律(A∪B)∪CA∪(B∪C)分配律A∩(B∪C)(A∩B)∪(A∩C)德·摩根律A∪B‾Aˉ∩BˉA∪BAˉ∩BˉA∩B‾Aˉ∪BˉA∩BAˉ∪Bˉ1.3 概率的定义与性质概率的公理化定义柯尔莫哥洛夫满足以下三条公理非负性P(A) ≥ 0规范性P(Ω) 1可列可加性若A₁,A₂,...两两互斥则 P(∪Aᵢ) ∑P(Aᵢ)重要性质P(∅)0P(Ā)1−P(A)P(A∪B)P(A)P(B)−P(A∩B)容斥原理若A⊂B则P(A)≤P(B)1.4 古典概型与几何概型古典概型有限等可能P(A) A中样本点数 / Ω中样本点数 k/n几何概型无限等可能P(A) A的度量长度/面积/体积/ Ω的度量1.5 条件概率条件概率定义P(B|A) P(A∩B) / P(A)P(A)0乘法公式P(A∩B) P(A)·P(B|A) P(B)·P(A|B)推广P(A₁A₂...Aₙ) P(A₁)·P(A₂|A₁)·P(A₃|A₁A₂)...P(Aₙ|A₁...Aₙ₋₁)全概率公式若{B₁,B₂,...,Bₙ}是完备事件组则P(A) ∑P(Bᵢ)·P(A|Bᵢ)贝叶斯公式P(Bᵢ|A) P(Bᵢ)·P(A|Bᵢ) / ∑P(Bⱼ)·P(A|Bⱼ)1.6 事件的独立性两事件独立P(A∩B) P(A)·P(B)多个事件相互独立任意子集的交的概率 各事件概率之积注意两两独立 ≠ 相互独立二、随机变量及其分布2.1 随机变量定义定义在样本空间Ω上的实值函数 X: Ω→R。类型特征示例离散型取有限或可列无穷个值掷骰子点数、二项分布连续型取某个区间内所有值身高、正态分布2.2 分布函数分布函数F(x) P(X ≤ x)x∈R性质单调不减x₁x₂ ⇒ F(x₁)≤F(x₂)右连续F(x0)F(x)边界F(−∞)0F(∞)1P(aX≤b)F(b)−F(a)2.3 离散型随机变量概率分布律P(Xxᵢ)pᵢ满足∑pᵢ1常见离散分布分布符号概率函数参数适用场景0-1分布B(1,p)P(Xk)pᵏ(1−p)¹⁻ᵏk0,10p1单次伯努利试验二项分布B(n,p)P(Xk)C(n,k)pᵏ(1−p)ⁿ⁻ᵏn≥1,0p1n次独立重复试验泊松分布P(λ)P(Xk)λᵏe⁻ᵏ/k!k0,1,2,...λ0稀有事件电话呼叫数几何分布G(p)P(Xk)(1−p)ᵏ⁻¹pk1,2,...0p1首次成功所需次数超几何分布H(N,M,n)P(Xk)C(M,k)C(N−M,n−k)/C(N,n)N,M,n不放回抽样二项分布与泊松分布的关系当n很大p很小λnp保持适中时B(n,p)近似P(λ)。2.4 连续型随机变量概率密度函数 f(x)f(x) ≥ 0∫₋∞⁺∞ f(x)dx 1F(x) ∫₋∞ˣ f(t)dtP(aX≤b) ∫ₐᵇ f(x)dx常见连续分布分布符号密度函数参数适用场景均匀分布U(a,b)f(x)1/(b−a)a≤x≤bab等可能区间指数分布E(λ)f(x)λe⁻λˣx≥0λ0寿命、等待时间正态分布N(μ,σ²)f(x)1/(σ√2π)·e^{-(x−μ)²/(2σ²)}μ∈R,σ0自然界最常见标准正态N(0,1)φ(x)1/√2π·e^{-x²/2}—正态分布标准化伽马分布Γ(α,β)f(x)βᵃxᵃ⁻¹e^{-βx}/Γ(α)x≥0α0,β0广义指数分布卡方分布χ²(n)Γ(n/2,1/2)n为自由度正态样本方差t分布t(n)—n自由度小样本均值推断F分布F(m,n)—m,n自由度方差比较正态分布标准化若X~N(μ,σ²)则Z(X−μ)/σ~N(0,1)3σ法则P(|X−μ|σ)68.26%P(|X−μ|2σ)95.44%P(|X−μ|3σ)99.74%2.5 随机变量函数的分布离散型直接代入并合并相同值连续型单调函数法若Yg(X)g严格单调且可导则f_Y(y) f_X(g⁻¹(y))·|d/dy g⁻¹(y)|三、多维随机变量3.1 联合分布联合分布函数F(x,y) P(X≤x, Y≤y)离散型联合分布律pᵢⱼ P(Xxᵢ, Yyⱼ)连续型联合密度f(x,y) ≥ 0∫∫f(x,y)dxdy 13.2 边缘分布离散型P(Xxᵢ)∑ⱼ pᵢⱼ pᵢ行和P(Yyⱼ)∑ᵢ pᵢⱼ pⱼ列和连续型f_X(x)∫₋∞⁺∞ f(x,y)dyf_Y(y)∫₋∞⁺∞ f(x,y)dx3.3 条件分布离散型P(Xxᵢ|Yyⱼ) P(Xxᵢ,Yyⱼ) / P(Yyⱼ)连续型f_{X|Y}(x|y) f(x,y) / f_Y(y)f_Y(y)03.4 独立性X与Y独立 ⇔ F(x,y)F_X(x)·F_Y(y)⇔ 离散pᵢⱼpᵢ·pⱼ⇔ 连续f(x,y)f_X(x)·f_Y(y)3.5 多维随机变量函数的分布卷积公式ZXY离散P(Zz)∑ₓ P(Xx)P(Yz−x)连续f_Z(z)∫₋∞⁺∞ f_X(x)f_Y(z−x)dx可加性X~B(n₁,p)Y~B(n₂,p)独立 ⇒ XY~B(n₁n₂,p)X~P(λ₁)Y~P(λ₂)独立 ⇒ XY~P(λ₁λ₂)X~N(μ₁,σ₁²)Y~N(μ₂,σ₂²)独立 ⇒ XY~N(μ₁μ₂, σ₁²σ₂²)X~χ²(m)Y~χ²(n)独立 ⇒ XY~χ²(mn)四、随机变量的数字特征4.1 数学期望均值定义离散E(X)∑ xᵢ·pᵢ连续E(X)∫₋∞⁺∞ x·f(x)dx性质E(c)cE(aXb)aE(X)bE(XY)E(X)E(Y)X与Y独立时E(XY)E(X)·E(Y)常见分布的期望分布E(X)0-1 B(1,p)p二项 B(n,p)np泊松 P(λ)λ几何 G(p)1/p均匀 U(a,b)(ab)/2指数 E(λ)1/λ正态 N(μ,σ²)μ4.2 方差与标准差定义Var(X)E[(X−E(X))²]E(X²)−[E(X)]²标准差σ(X)√Var(X)性质Var(c)0Var(aXb)a²Var(X)X与Y独立时Var(XY)Var(X)Var(Y)切比雪夫不等式P(|X−μ|≥ε)≤σ²/ε²常见分布的方差分布Var(X)0-1 B(1,p)p(1−p)二项 B(n,p)np(1−p)泊松 P(λ)λ几何 G(p)(1−p)/p²均匀 U(a,b)(b−a)²/12指数 E(λ)1/λ²正态 N(μ,σ²)σ²4.3 协方差与相关系数协方差Cov(X,Y)E[(X−E(X))(Y−E(Y))]E(XY)−E(X)E(Y)性质Cov(X,X)Var(X)Cov(X,Y)Cov(Y,X)Cov(aXb, cYd)ac·Cov(X,Y)Cov(XY,Z)Cov(X,Z)Cov(Y,Z)相关系数ρ_XY Cov(X,Y) / (σ_X·σ_Y)性质|ρ|≤1|ρ|1 ⇔ YaXb线性相关ρ0 ⇔ X与Y不相关注意独立⇒不相关反之不成立4.4 矩与协方差矩阵k阶原点矩μ_k E(Xᵏ)k阶中心矩ν_k E[(X−E(X))ᵏ]协方差矩阵对于n维随机向量X(X₁,...,Xₙ)ᵀΣ (σᵢⱼ)ₙₓₙ其中σᵢⱼCov(Xᵢ,Xⱼ)五、大数定律与中心极限定理5.1 切比雪夫不等式P(|X−μ| ≥ ε) ≤ σ²/ε²5.2 大数定律依概率收敛Xₙ →ᵖ a即∀ε0lim P(|Xₙ−a|ε)1切比雪夫大数定律独立随机变量序列方差一致有界则样本均值依概率收敛于期望均值。伯努利大数定律频率依概率收敛于概率大数定律的最早形式。辛钦大数定律独立同分布期望存在则样本均值依概率收敛于期望。5.3 中心极限定理林德伯格-莱维定理独立同分布X₁,...,Xₙ独立同分布E(Xᵢ)μVar(Xᵢ)σ²则∑Xᵢ ≈ N(nμ, nσ²)即Zn (∑Xᵢ − nμ)/(σ√n) →ᵈ N(0,1)棣莫弗-拉普拉斯定理二项分布X~B(n,p)则Zn (X−np)/√(np(1−p)) →ᵈ N(0,1)第二部分数理统计Mathematical Statistics六、样本与抽样分布6.1 基本概念术语定义总体研究对象的全体通常服从某分布个体总体中的每个元素样本从总体中抽取的部分个体样本容量 n样本中个体的数量简单随机样本独立同分布i.i.d.的样本设总体X~F(x)样本X₁,...,Xₙ独立且都与X同分布。6.2 统计量统计量不依赖于未知参数的样本函数。常用统计量样本均值Xˉ1/n⋅∑XiXˉ1/n⋅∑Xi​样本方差S21/(n−1)⋅∑(Xi−Xˉ)2S21/(n−1)⋅∑(Xi​−Xˉ)2样本标准差S√S2S√S2样本k阶原点矩Ak1/n⋅∑XikAk​1/n⋅∑Xik​样本k阶中心矩Bk1/n⋅∑(Xi−Xˉ)kBk​1/n⋅∑(Xi​−Xˉ)k次序统计量X₍₁₎≤X₍₂₎≤...≤X₍ₙ₎6.3 常用抽样分布χ²分布若Z₁,...,Zₙ~N(0,1)独立则∑Zᵢ²~χ²(n)E(χ²)nVar(χ²)2n可加性χ²(m)χ²(n)χ²(mn)t分布若Z~N(0,1)Y~χ²(n)Z与Y独立则 Z/√(Y/n) ~ t(n)当n→∞t(n)→N(0,1)用于小样本均值检验F分布若U~χ²(m)V~χ²(n)U与V独立则 (U/m)/(V/n) ~ F(m,n)用于方差比检验6.4 正态总体抽样分布单正态总体Xˉ∼N(μ,σ2/n)Xˉ∼N(μ,σ2/n)Z(Xˉ−μ)/(σ/√n)∼N(0,1)Z(Xˉ−μ)/(σ/√n)∼N(0,1)T(Xˉ−μ)/(S/√n)∼t(n−1)T(Xˉ−μ)/(S/√n)∼t(n−1)(n−1)S2/σ2∼χ2(n−1)(n−1)S2/σ2∼χ2(n−1)双正态总体SX2/SY2∼F(nX−1,nY−1)SX2​/SY2​∼F(nX​−1,nY​−1)方差比七、参数估计Parameter Estimation7.1 点估计定义用样本统计量作为总体参数的估计值。7.1.1 矩估计法Method of Moments用样本矩估计总体矩解方程E(Xk)AkE(Xk)Ak​示例对正态总体N(μ,σ²)μ^Xˉμ^​Xˉσ^2B21/n∑(Xi−Xˉ)2σ^2B2​1/n∑(Xi​−Xˉ)27.1.2 最大似然估计MLE写出似然函数L(θ)∏f(xi;θ)L(θ)∏f(xi​;θ)取对数ℓ(θ)lnL(θ)ℓ(θ)lnL(θ)解方程dℓ/dθ0dℓ/dθ0性质相合性、无偏性、有效性、渐近正态性7.1.3 估计量的评价标准标准定义无偏性E(ĥ)h(θ)无系统偏差有效性方差越小越有效相对效率一致性相合性样本量增大时ĥ→ᵖh(θ)无偏修正样本方差S21/(n−1)∑(Xi−Xˉ)2S21/(n−1)∑(Xi​−Xˉ)2是σ²的无偏估计1/n∑(Xi−Xˉ)21/n∑(Xi​−Xˉ)2是σ²的有偏估计7.2 区间估计置信区间以一定置信水平包含未知参数的区间。步骤选取枢轴量G(θ,样本)分布已知且与θ无关求a,b使P(a≤G≤b)1−α反解θ的不等式得置信区间常见置信区间置信水平1−α场景枢轴量置信区间σ²已知求μZ(X̄−μ)/(σ/√n)Xˉ±zα/2⋅σ/√nXˉ±zα/2​⋅σ/√nσ²未知求μT(X̄−μ)/(S/√n)Xˉ±tα/2(n−1)⋅S/√nXˉ±tα/2​(n−1)⋅S/√n求σ²χ²(n−1)S²/σ²((n−1)S2χα/22,(n−1)S2χ1−α/22)(χα/22​(n−1)S2​,χ1−α/22​(n−1)S2​)两正态均值差σ相等未知TXˉ−Yˉ±tα/2⋅Sw√(1/n1/m)Xˉ−Yˉ±tα/2​⋅Sw​√(1/n1/m)八、假设检验Hypothesis Testing8.1 基本概念术语说明原假设 H₀待检验的假设通常为没有差异备择假设 H₁原假设不成立时的情形检验统计量基于样本计算的统计量拒绝域 W拒绝H₀的样本范围显著性水平 α第一类错误概率p值在原假设下观察到当前结果的概率8.2 两类错误H₀为真H₀为假接受H₀正确第二类错误β拒绝H₀第一类错误α正确1−β检验功效8.3 常用假设检验检验类型H₀统计量分布单正态总体均值μμ₀Z(X̄−μ₀)/(σ/√n)N(0,1)σ已知同上μμ₀T(X̄−μ₀)/(S/√n)t(n−1)σ未知单正态总体方差σ²σ₀²χ²(n−1)S²/σ₀²χ²(n−1)双正态总体均值差μ₁μ₂T ...t(nm−2)双正态总体方差比σ₁²σ₂²FS₁²/S₂²F(n₁−1,n₂−1)8.4 拟合优度检验χ²拟合优度检验检验实际频数与理论频数是否一致统计量χ²∑(Oᵢ−Eᵢ)²/Eᵢ ~ χ²(k−1)独立性检验列联表检验两个分类变量是否独立χ²∑(Oᵢⱼ−Eᵢⱼ)²/Eᵢⱼ ~ χ²((r−1)(c−1))8.5 正态性检验QQ图样本分位数 vs 正态分位数Shapiro-Wilk检验Kolmogorov-Smirnov检验九、方差分析ANOVA9.1 单因素方差分析目的比较多个总体的均值是否相等。模型XijμαiεijXij​μαi​εij​εij∼N(0,σ2)εij​∼N(0,σ2)平方和分解SST SSA SSE总离差 组间 组内SSA ∑ nᵢ(Ȳᵢ−Ȳ)²SSE ∑∑(Yᵢⱼ−Ȳᵢ)²F检验F(SSA/(k−1))/(SSE/(n−k))∼F(k−1,n−k)F(SSA/(k−1))/(SSE/(n−k))∼F(k−1,n−k)9.2 双因素方差分析无交互效应主效应检验有交互效应需要重复试验检验主效应和交互效应十、回归分析Regression Analysis10.1 一元线性回归模型Yβ0β1XεYβ0​β1​Xεε∼N(0,σ2)ε∼N(0,σ2)最小二乘估计β1^∑(xi−xˉ)(yi−yˉ)/∑(xi−xˉ)2Sxy/Sxxβ1​^​∑(xi​−xˉ)(yi​−yˉ​)/∑(xi​−xˉ)2Sxy​/Sxx​β0^yˉ−β1^xˉβ0​^​yˉ​−β1​^​xˉ判定系数 R²R2SSR/SST1−SSE/SSTR2SSR/SST1−SSE/SST衡量回归拟合程度显著性检验H0:β10H0​:β1​0Tβ1^/(S/√Sxx)∼t(n−2)Tβ1​^​/(S/√Sxx​)∼t(n−2)10.2 多元线性回归模型Yβ0β1X1...βpXpεYβ0​β1​X1​...βp​Xp​ε矩阵形式YXβεYXβε最小二乘估计β^(XTX)−1XTYβ^​(XTX)−1XTY逐步回归变量选择方法向前、向后、逐步