1. 先从概率到底是什么说起一个经常被忽略的基本问题大概每个学过概率论的人都有过这样的体验第一章的内容看起来特别简单无非是排列组合、古典概型感觉自己随便就能拿满分。但学到后面尤其是到了随机变量、大数定律、参数估计这些章节时才发现前面那些简单的概念根本没吃透回头再看教材才恍然——原来很多推导之所以绕不是因为数学难而是因为对概率本身的理解停留在直觉层面。1.1 样本空间、随机事件概率论的语法基础概率论研究的是随机现象也就是那种在相同条件下可能得到不同结果的现象。比如掷一枚硬币你没法预知结果是正面还是反面但如果重复大量次数正反面出现的比例会趋于稳定这就是随机现象的特点单个结果不确定整体规律确定。刻画这种规律的第一步是定义样本空间。教材里的定义很简洁样本空间是随机试验所有可能结果构成的集合通常记为 Ω其中的每个元素称为样本点。比如掷一颗骰子Ω {1,2,3,4,5,6}连续掷两次硬币Ω {正正, 正反, 反正, 反反}。随机事件则是样本空间的子集是某些结果的集合。必须注意事件和结果是两回事结果是单个样本点事件是样本点的集合。比如掷出偶数点这个事件对应集合 {2,4,6}至少出现一次正面对应 {正正, 正反, 反正}。这个区分看似简单却是后续理解概率计算的基础很多人在算概率时出错根源就是把事件误当成单一结果来处理。1.2 古典概型与几何概型早期概率论的两种直观模型古典概型的成立需要两个前提一是样本空间的样本点有限二是每个样本点出现的可能性相同。在此前提下事件A的概率定义为P(A) A中包含的样本点个数 ÷ 样本空间中样本点总数这就是有利场合数除以总场合数的来源。但这里有个容易踩的坑所谓等可能绝对不是想当然的。比如同时掷两颗骰子如果把样本空间写成 {2,3,...,12}两骰之和这11个结果不是等可能的因为和等于7对应6种情况和等于2只对应1种情况。正确做法是把两颗骰子视为可区分样本空间是有序数对共36个等可能结果。初学者最容易在这里犯错误我见过太多人把样本空间怎么取搞错导致整个概率算出来都是错的。几何概型则是古典概型的连续版本当样本点是某个区域线段、平面区域、三维空间区域中的点且每个点等可能地被取到事件A的概率等于A对应区域的测度长度、面积、体积除以整个样本空间的测度。几何概型最大的学习难点在于等可能的直观理解。经典问题如在圆周上任取两点连成弦弦长大于半径的概率用不同方式定义任取会得到不同的答案。这提醒我们概率模型是建立在明确假设之上的脱离假设谈概率没有意义这个思想贯穿整个概率论与数理统计。1.3 概率的公理化定义为什么学界最终选择了这三条公理古典概型和几何概型都有局限性古典概型要求有限样本空间几何概型要求均匀等可能但现实中有太多随机现象不满足这些条件。比如某电话交换机在一小时内接到的呼叫次数所有可能取值是0,1,2,...无限个再比如某元件的使用寿命可能取值是连续的某个区间但并非每个值都等可能。1933年苏联数学家柯尔莫哥洛夫给出了概率的公理化定义用三条公理涵盖了一切情形非负性对任意事件AP(A) ≥ 0规范性P(Ω) 1可列可加性对两两互不相容的事件序列 A₁, A₂, ...有 P(A₁ ∪ A₂ ∪ ...) ΣP(Aᵢ)这三条公理是整个概率论大厦的地基。你可能觉得它们太平凡了但正是这种平凡保证了整个理论体系的严密性。就像欧几里得几何的五条公设一样看似不证自明其实是所有定理的出发点。由公理可以推导出一系列常用性质P(∅)0对任何事件AP(A的补集)1-P(A)如果A⊆B则P(A)≤P(B)加法公式 P(A∪B)P(A)P(B)-P(A∩B)。这些性质看起来都是显然的但理解它们是从公理演绎得出的能帮助你建立公理化的思维方式——后面学到随机变量的分布、期望的线性性质时你会发现同样的演绎逻辑一直在起作用。2. 条件概率与独立理解信息更新和关系无关的两个关键2.1 条件概率的本质缩小样本空间条件概率 P(B|A) 的定义是在事件A已经发生的条件下事件B发生的概率计算公式为P(B|A) P(A∩B) / P(A)其中 P(A)0这里最核心的理解是条件概率不是凭空算出来的新概率而是在样本空间从Ω缩小到A之后重新计算的比例。把总量从1变为P(A)这个视角放在心里很多公式就不会记错。举个例子说明。一个袋子里有3个红球和2个白球不放回地摸两次。已知第一次摸到红球问第二次摸到白球的概率。直接用缩小样本空间的视角已知第一次摸到红球后袋中剩2红2白共4个球所以答案是2/41/2。如果套公式也算得出来P(第一次红 ∩ 第二次白)(3/5)×(2/4)3/10P(第一次红)3/5所以比值正好是1/2。两种做法结果一致但缩小样本空间的视角显然更省力也更符合直观。2.2 全概率公式与贝叶斯公式一条链分叉一条链回溯全概率公式解决的是分情况讨论的问题如果事件组 B₁, B₂, ..., Bₙ 构成一个完备事件组两两互不相容且并集为全集那么对任意事件A有P(A) Σ P(Bᵢ) · P(A|Bᵢ)这个公式的本质是按原因求结果把A的发生概率拆解为在不同原因Bᵢ下发生的概率之和。生活化地理解就好比你想知道明天上班迟到的概率可以分成地铁故障路上堵车闹钟没响等互斥情形分别估算每种情形下迟到的概率再乘上每种情形本身发生的概率最后求和。贝叶斯公式则是反过来解决看到结果后反推原因的问题P(Bᵢ|A) P(Bᵢ)·P(A|Bᵢ) / Σⱼ P(Bⱼ)·P(A|Bⱼ)很多教材把贝叶斯公式单独列出来让人以为它是一个新公式但实际上它就是条件概率定义与全概率公式的结合。你不需要死记它的形态只需要记住逻辑已知结果A发生了要追究哪个原因Bᵢ最可能需要先有对原因的先验概率P(Bᵢ)——这是贝叶斯学派的核心思想概率可以表示主观信念并且会随着新信息而更新。医学检测、垃圾邮件过滤、搜索引擎的拼写纠错背后都是这个逻辑。2.3 独立性的易错点互不相容与独立是两个方向的概念两个事件独立定义是P(A∩B) P(A)·P(B)教材通常给出两种等价定义P(B|A)P(B)当P(A)0时或者乘法公式P(A∩B)P(A)P(B)。但实践中最大的困惑是独立和互不相容到底什么区别这里必须掰开揉碎地讲清楚互不相容说的是两个事件不能同时发生A∩B∅它描述的是事件之间在集合层面没有交集。独立说的是一个事件的发生不影响另一个事件的概率它描述的是概率层面的数值关系。两者不但不是一回事而且在很多情况下是冲突的。如果A和B互不相容且P(A)0、P(B)0那么P(A∩B)0但P(A)P(B)0两者不可能相等所以它们必然不独立。换句话说概率为正的互不相容事件永远不会独立。这个结论可以当作检查手段——如果你算出一个题目说两个互不相容的事件独立那你一定算错了。独立性的另一个需要注意的地方是两两独立不等于相互独立。三个事件A、B、C两两独立只保证任意两个事件的乘积公式成立但P(A∩B∩C)P(A)P(B)P(C)不一定成立。教材上通常会给一个经典的四面体反例来区分二者这里就不展开了但结论值得记住做复杂概率计算时默认使用相互独立需要额外验证不能把两两独立想当然地推广。3. 随机变量连接事件语言和数学语言的翻译器3.1 为什么要引入随机变量概率论研究随机事件但事件的表达方式比如掷出偶数点寿命超过1000小时太依赖具体场景没法统一处理。于是数学家想了一个办法给每个样本点指定一个实数把结果映射成数值这个映射就叫随机变量。严格地说随机变量是定义在样本空间Ω上的实值函数 X X(ω)其中ω是样本点。这定义一出来就劝退了不少人因为看起来太抽象。但理解它其实很简单随机变量就是一个把随机试验结果变成数字的规则。比如掷骰子X可以取朝上的点数抽检产品X可以取次品个数记录电话呼叫X取呼叫次数。你需要做的只是把不确定的结果用数表示出来然后用数学工具研究这个数的规律。随机变量按取值类型分为两大类离散型随机变量取值有限个或可列无限个比如次数、个数和连续型随机变量取值充满某个区间比如时间、长度、重量。两类随机变量的处理方法不同这是概率论课程中第一个真正的分水岭。3.2 分布函数统一离散与连续的枢纽为了统一描述随机变量的取值规律教材引入了分布函数F(x) P(X ≤ x)分布函数是定义在整个实数轴上的普通函数对任意实数x都有定义。它的意义在于不管随机变量是离散还是连续分布函数都能完整刻画它的统计规律。只要知道了F(x)你就能算出随机变量落进任意区间(a,b]的概率P(a X ≤ b) F(b) - F(a)。分布函数的三个基本性质在解题中经常直接使用单调不减、右连续、当x→-∞时F(x)→0且当x→∞时F(x)→1。做题时如果发现某个函数不满足任意一条可以直接判定它不是分布函数这种题目在考试里几乎是送分题但前提是你真的记住了这三个性质而不是只看个大概。3.3 概率质量函数与概率密度函数两种描述方式的选择对离散型随机变量用分布律概率分布列来描述p(xᵢ) P(X xᵢ)且 Σ p(xᵢ) 1对连续型随机变量由于单点概率P(Xx)恒等于0没法用取某值的概率来描述改用概率密度函数f(x)满足P(a X ≤ b) ∫ₐᵇ f(x)dx密度函数这个名字容易让人误解它不是概率本身而是概率的密度。你可以把它类比为单位质量物体的密度乘以体积才是质量概率密度乘以长度微元dx才是概率。f(x)可以大于1这一点常让初学者困惑——概率不能大于1但密度函数可以比如均匀分布U(0, 0.5)的密度函数在(0,0.5)上取值是2。直觉上一个集中在很小范围内的随机变量密度必然很大就像一小块物质可以密度极大一样。连续型随机变量还有一个反直觉的性质P(Xx)0对任意单点x成立但事件{Xx}并不是不可能事件。概率为0的事件也可能发生。这个结论在学习时经常被忽略但它真正理解了你对概率为0和不可能的认识就上了一个台阶。3.4 随机变量函数的分布绕不过去的工程问题实际应用中经常需要处理随机变量的函数比如已知元件的寿命X服从指数分布想求YX²的分布或者已知股价变化率X想知道ln(1X)的分布。求Yg(X)的分布核心方法是分布函数法先写出F_Y(y)P(Y≤y)P(g(X)≤y)再把事件{g(X)≤y}转化为关于X的事件用X的分布函数表示出来。如果g是单调函数还有公式法可以直接套用条件是要注意g(x)的绝对值项。这个知识点是概率论的第一个硬核计算环节很多人在这里开始跟不上原因是前面的基本概念不够熟——如果连分布函数的定义都要翻书求随机变量函数的分布当然寸步难行。4. 六大常见分布概率论的身份证和通用零件每个随机变量都有自己的分布但实际生活和工程中最常见的其实就那几种。把它们逐个吃透后面的数理统计部分就会顺畅很多。分布类型参数概率函数/密度函数期望方差0-1分布伯努利离散pP(Xk)p^k(1-p)^(1-k)pp(1-p)二项分布离散n, pC(n,k)p^k(1-p)^(n-k)npnp(1-p)泊松分布离散λe^(-λ)λ^k/k!λλ均匀分布连续a, b1/(b-a)(ab)/2(b-a)²/12指数分布连续λλe^(-λx)1/λ1/λ²正态分布连续μ, σ²(1/√(2π)σ)e^(-(x-μ)²/(2σ²))μσ²4.1 二项分布与泊松分布离散分布的双子星二项分布 B(n,p) 描述的是n重伯努利试验中成功次数的分布。n重伯努利试验有三个条件每次试验只有两种结果成功/失败各次试验相互独立每次成功概率p保持不变。这三个条件缺一不可判断一道题能不能用二项分布先看三个条件是否全部满足。泊松分布 P(λ) 通常用来描述稀有事件在单位时间或空间内发生的次数比如电话呼叫数、放射性粒子计数、交通事故数。它和二项分布有深刻的联系当n很大、p很小且npλ保持为常数时二项分布趋近于泊松分布。这就是泊松定理。实际使用中如果n≥20且p≤0.05用泊松分布近似二项分布往往已经足够精确。这背后的逻辑是当尝试次数极多但每次成功概率极低时成功次数服从泊松分布——这解释了为什么小概率事件在大量重复中几乎必然出现。4.2 均匀分布与指数分布连续分布里的两个极端典型均匀分布 U(a,b) 描述在区间(a,b)内每个点等可能的随机变量最常见的例子是随机取数、随机到达时间。它的密度函数是常数1/(b-a)分布函数是从0线性升到1的直线。指数分布 Exp(λ) 描述两次随机事件之间的等待时间在可靠性工程中尤其重要。它的核心性质是无记忆性P(X st | X s) P(X t)翻译成人话就是一个已经工作了s小时的元件再工作t小时不出故障的概率和一个全新元件工作t小时不出故障的概率相同。元件不记得自己已经工作了多久。这个性质反直觉但正是它让指数分布成为排队论和可靠性理论的基础。要注意的是无记忆性是产品寿命服从指数分布时才成立的特性真实世界的元件往往有老化所以指数分布只是一个理想化模型。4.3 正态分布统计学的主角为什么是它正态分布 N(μ, σ²) 的重要性怎么强调都不过分。它的密度函数呈钟形曲线关于xμ对称σ决定曲线的胖瘦。一套完整的标准化方法——令Z(X-μ)/σ把任意正态分布转化为标准正态分布N(0,1)——极大简化了概率计算这也是为什么教材里会出现一套又一套的Φ(x)查表练习。正态分布为什么无处不在在于两个原因中心极限定理后面会专门讲大量独立随机因素叠加的结果近似服从正态分布。测量误差、人群身高、考试成绩都是大量微小因素共同作用的结果所以都近似正态。正态分布的可加性独立同分布的正态随机变量之和仍服从正态分布且独立正态变量的线性组合仍为正态。这使得它在理论推导中特别好用。学习正态分布时建议记住几个常用分位数P(|Z|≤1.645)≈0.90P(|Z|≤1.96)≈0.95P(|Z|≤2.576)≈0.99。这些数在后面的区间估计和假设检验中反复出现提前背熟能省大量时间。5. 期望、方差与相关性用几个数压缩一个分布的信息5.1 数学期望不是简单的平均值而是加权平均离散型随机变量的期望定义为E(X) Σ xᵢ · p(xᵢ)连续型则定义为E(X) ∫ x · f(x) dx绝对收敛时期望的本质是以概率为权重的加权平均。无数人把期望理解为大量重复试验的算术平均这个直观是对的但要说清楚只有当试验次数趋于无穷时算术平均才趋近于期望这就是大数定律的内容。期望还有一个经常被忽略的性质它不一定是随机变量能取到的值。比如掷骰子的期望是3.5但骰子永远掷不出3.5。这提醒我们期望是一个理论上的中心位置不代表实际会出现某个具体结果。随机变量函数的期望公式——E[g(X)] Σg(xᵢ)p(xᵢ)或∫g(x)f(x)dx——是期望计算的核心工具。初学者经常想当然地认为E(X²)[E(X)]²这是完全错误的。数学期望的线性性质E(aXbY)aE(X)bE(Y)不需要任何独立条件这一点和方差不同要区分清楚。5.2 方差度量偏离程度但要小心计算陷阱方差定义为D(X) E{[X-E(X)]²} E(X²) - [E(X)]²后一个等式计算式在实际计算中更常用因为它只需要两个量E(X)和E(X²)。但很多人只记住了D(X)E(X²)-[E(X)]²却忘了它的来源是E{[X-E(X)]²}导致碰到用定义求方差的题目时傻眼。方差的性质中有一个高频考点D(aX b) a²D(X)其中b不对方差产生任何影响这是因为平移不改变数据的离散程度而缩放会成平方倍地改变方差。常数加进去不影响方差这个结论虽然小但在很多推导题里是关键步骤。5.3 协方差与相关系数衡量线性关系的两把尺子两个随机变量X和Y的关系用协方差来描述Cov(X,Y) E[(X-E(X))(Y-E(Y))] E(XY) - E(X)E(Y)协方差为正说明X和Y有同向变化的趋势为负说明反向变化。但协方差的数值受量纲影响没法判断关系有多强于是定义相关系数ρ(X,Y) Cov(X,Y) / √(D(X)D(Y))相关系数的取值在[-1,1]之间|ρ|1当且仅当X和Y之间存在严格的线性关系YaXb。注意相关系数衡量的是线性关系ρ0只能说明没有线性相关不代表两个变量独立。举个简单的例子令X服从标准正态分布YX²则X和Y不满足线性关系但显然不独立可以验证ρ0。网上有不少人在这里翻车把不相关看成独立这是整个课程中一个很大的认知误区。5.4 切比雪夫不等式只靠期望方差就能约束概率切比雪夫不等式说的是P(|X-E(X)| ≥ ε) ≤ D(X)/ε²它的价值在于不需要知道X的具体分布只要知道期望和方差就能给出偏离期望的概率上界。虽然这个上界通常比较粗糙比如ε2σ时给出上界1/4而正态分布实际值约为0.045但在理论上它非常关键——它是证明大数定律的主要工具之一也是数理统计中矩估计法的理据来源。6. 大数定律与中心极限定理随机世界的秩序从哪来这一章在考试中的占比可能不高但它是概率论和数理统计真正衔接的桥梁。没有大数定律用频率估计概率只是一个经验法则没有中心极限定理正态分布在统计学中的核心地位就缺乏理论基础。6.1 大数定律频率为什么能稳定在概率附近切比雪夫大数定律是基础版本设X₁, X₂, ..., Xₙ是两两不相关的随机变量序列期望和方差都存在且方差有共同上界则对任意ε0有lim P(|(1/n)ΣXᵢ - (1/n)ΣE(Xᵢ)| ε) 1这个结论的直观意思当n足够大时样本均值依概率收敛于总体均值。伯努利大数定律是它的特殊情况在n重伯努利试验中事件发生的频率依概率收敛于该事件的概率。这等于给用频率估计概率提供了一颗定心丸——为什么统计推断可行因为它有严谨的数学保证。6.2 中心极限定理样本均值为什么总是正态林德伯格-列维中心极限定理说设X₁, X₂, ..., Xₙ独立同分布期望为μ方差为σ²0则对任意实数x当n→∞时有P( (ΣXᵢ - nμ)/(√n·σ) ≤ x ) → Φ(x)用人话说大量独立同分布的随机变量之和经过标准化后分布趋近于标准正态分布。这个定理最实用的一面在于无论单个随机变量的分布多么非正态只要样本量足够大经验上n≥30样本均值的分布就近似正态。这就不难理解为什么几乎所有统计检验方法都要用到正态分布。中心极限定理与大数定律的区别值得明确大数定律说的是样本均值收敛到总体均值一个确定的数中心极限定理说的是样本均值围绕总体均值波动的形状逐渐变成正态分布。一个管位置一个管形状二者既不相同又相互补充。7. 数理统计的起点从总体参数到样本统计量的思维转换概率论的方向是已知分布求概率数理统计的方向正好反过来已知样本推断分布参数。这一步思维转换是很多人在学习到统计部分时感到忽然变难的真正原因。7.1 总体、样本与统计量三个最基本的概念别混为一谈总体是研究对象的全体通常关心的是它的某个数量指标X的分布。样本是从总体中抽取的n个个体记为X₁, X₂, ..., Xₙ要求独立同分布——每个样本的分布都与总体分布相同且相互独立这就是简单随机样本的定义。统计量是样本的函数比如样本均值、样本方差统计量本身也是随机变量因为样本是随机的。这里要特别强调样本方差的定义S² (1/(n-1))Σ(Xᵢ - X̄)²为什么除以n-1而不是n这是数理统计中第一个让所有人困惑的为什么。原因是用样本方差估计总体方差时如果除以n得到的估计量是偏小的它低估了总体方差。本质上是因为样本均值X̄是从样本里算出来的它天然比总体均值更靠近样本点导致偏差平方和偏小。用n-1修正后样本方差才是总体方差的无偏估计。这个无偏性的概念在参数估计中极为关键。7.2 三大抽样分布统计推断的查表工具正态总体下有三个衍生分布是区间估计和假设检验的基础χ²卡方分布若Z₁,...,Zₖ独立且都服从标准正态分布则Z₁²...Zₖ²服从自由度为k的χ²分布。它用来描述样本方差的分布。t分布若Z~N(0,1)、Y~χ²(k)且Z与Y独立则TZ/√(Y/k)服从自由度为k的t分布。当k足够大时t分布趋近于标准正态分布这就是为什么大样本下可以用正态近似。F分布若U~χ²(k₁)、V~χ²(k₂)且独立则(U/k₁)/(V/k₂)服从F分布。它主要用在方差分析和回归分析的假设检验中。对这三大分布学习时先不要陷进复杂的推导抓住三点就够用定义方式由正态分布衍生而成、密度函数形态偏态但随自由度增大趋于对称、以及各自的分位数表怎么查。后面用到时再回来翻性质比一上来硬记全部性质效率高得多。7.3 参数估计的两种思路点估计和区间估计点估计就是用一个具体数值来近似未知参数。常用的方法有矩估计法和极大似然估计法。矩估计法的思路很朴素用样本矩如样本均值、样本二阶原点矩去替换总体矩然后解出参数。比如总体均值μ的矩估计就是样本均值X̄总体方差的矩估计是(1/n)Σ(Xᵢ-X̄)²注意这里没有n-1修正因为矩估计默认用样本原点矩直接替换总体原点矩。极大似然估计法的核心思想是既然这组样本已经观察到了那么应该选择使这组样本出现概率最大的参数值。做法是写出似然函数L(θ)∏f(xᵢ;θ)取对数后求导令其为零并解方程。极大似然估计在统计理论中有很多优良性质是大样本下最高效的估计方法之一。区间估计则回答了一个更实用的问题参数到底在哪个范围内比如有95%的把握认为总体均值落在(a,b)之间。求正态总体均值的置信区间最典型的公式是当σ²已知时μ的1-α置信区间为 (X̄ ± z_{α/2}·σ/√n)当σ²未知时用t分布 (X̄ ± t_{α/2}(n-1)·S/√n)注意置信区间的理解不是说参数以95%的概率落在区间内因为参数是固定的常数而是说如果我们反复抽样并构造区间大约有95%的区间会覆盖参数的真值。这是频率学派的核心解释正确理解它你就能绕开绝大多数关于置信区间的误解。7.4 假设检验用反证法思路判断一个说法是否成立假设检验的基本逻辑可以概括为带概率保证的反证法先提出原假设H₀然后看在H₀成立的条件下当前样本是否足够异常如果样本结果出现概率极小小于显著性水平α就拒绝H₀。具体流程是提出原假设H₀和备择假设H₁ → 选取检验统计量 → 确定拒绝域或计算p值→ 比较并作出结论。常用的检验包括正态总体均值的Z检验σ²已知和t检验σ²未知、方差的χ²检验、两正态总体方差比的F检验、拟合优度的χ²检验等。这里有几个经常出现的问题p值不是原假设为真的概率。p值指的是在H₀成立的条件下观察到当前样本及更极端样本的概率。p值越小说明样本结果在原假设下越离奇越有理由拒绝H₀。显著性水平α是弃真第一类错误概率的上限而不是接受H₀的概率。决策中第一类错误和第二类错误取伪往往此消彼长增加样本量可以同时降低两类错误。不拒绝H₀不等于接受H₀只是说现有证据不足以推翻H₀就像法庭上证据不足不能定罪不等于被告无罪。8. 回归与相关从有关系到什么关系的量化路径学完推断统计的基本框架还有一个高频考点值得单独说相关分析和回归分析。很多初学者把相关系数和回归系数混为一谈其实它们回答了不同的问题。8.1 相关系数衡量的是线性联系的强度前面提到的皮尔逊相关系数ρ衡量的是两个变量线性相关的方向和强度。它的取值范围在[-1,1]绝对值越接近1说明线性关系越强。但相关系数有三个明显的限制第一它对非线性关系不敏感抛物线关系可能相关系数接近0第二它受异常值影响很大一个离群点就可能让相关系数从0.9变成0.3第三相关不等于因果——两个变量相关可能是因为存在第三个混杂变量在背后起作用。做数据分析时看到强相关先别急着下因果结论这是最基本的数据素养。8.2 一元线性回归最小二乘法的直觉与公式一元线性回归模型是Y β₀ β₁X ε其中ε是随机误差项通常假设均值为0。回归分析的目的是估计β₀和β₁。最小二乘法的原则是选择β₀和β₁使得所有样本点的残差平方和Σ(Yᵢ - β₀ - β₁Xᵢ)²最小。求出的回归系数公式是β₁̂ Σ(Xᵢ-X̄)(Yᵢ-Ȳ) / Σ(Xᵢ-X̄)²β₀̂ Ȳ - β₁̂·X̄这里值得说明的是最小二乘法为什么选择平方和而不是绝对值和一是平方函数处处可导求极值方便二是平方误差在大误差上给予更大的惩罚更符合通常的优化目标三是它与正态假设下极大似然估计的结论一致——如果误差项服从正态分布极大似然估计的结果恰好也是最小二乘估计。这一层联系等学到更深入的统计推断时就明白了。8.3 回归方程好不好用看拟合优度和显著性检验判断回归方程的解释力最常用的指标是决定系数R²R² 回归平方和 / 总平方和 1 - 残差平方和 / 总平方和R²的取值范围是[0,1]表示自变量X能解释因变量Y变异的比例。R²0.8意思是Y的变异中有80%可以由X的线性关系解释。它与相关系数的关系是在一元线性回归中R²正好等于相关系数的平方。这一点常被用来核对计算。回归系数的显著性检验用的是t检验或F检验。F检验看整个回归方程有没有解释力t检验看单个回归系数是否显著不为0。在一元回归中二者等价到了多元回归才会分道扬镳。初学者先记住这个框架就好真正上手多元回归时再深入细化。9. 我踩过的一些坑与学习建议给正在啃这门课的读者写了这么多概念梳理最后根据自己的学习经验说几个值得注意的细节和实操建议希望能帮你少走一些弯路。首先是计算能力和推导能力要分开练。概率论和数理统计是国内大学里少有的既考计算又考证明的数学课。计算题比如求分布、求期望、算置信区间靠的是熟练和细心一定要亲自动手做不能只看例题看会和自己算对之间差距非常大。证明题靠的是对定义的深层理解尤其是期望的线性性质、分布函数的基本性质、统计量的分布推导建议把常用结论的证明过程亲手推一两遍而不是背结论。我当年学的时候最大的教训就是以为自己看懂了结果一到闭卷考试就露馅。其次是建立一张知识地图。概率论部分的逻辑主线是样本空间→事件→概率→条件概率→随机变量→分布→数字特征→极限定理。数理统计部分的主线是总体→样本→统计量→抽样分布→参数估计→假设检验→回归分析。学习时经常问自己一句话当前这个知识点在这条主线的哪一环它解决什么问题把这个框架装在脑子里知识点就不再是零散的公式而是一张有逻辑关联的网络。然后是背公式要有方法。公式多确实是这门课的现实但绝大多数公式不需要死记。分布函数、期望、方差的定义本身就是一个公式生成器条件概率、全概率、贝叶斯三个公式共享同一个逻辑区间估计和假设检验的公式形态高度对称。建议你自己把正态总体参数的置信区间与检验统计量整理成一张对照表你会发现记忆负担一下子减轻很多。最后想说概率论与数理统计这门课的价值远超考试本身。它训练的不是算题能力而是在不确定性中做判断的思维方式。无论是做实验数据分析、看医学研究报告、做产品AB测试还是评估投资风险背后全是这套逻辑。哪怕你已经离开课堂先分清总体和样本用置信区间代替单一估计值相关不等于因果这些思维习惯在生活和工作中都极为受用。把概念背后的为什么想清楚比记住是什么走得更远。
