1. 协方差不是玄学先把“同向摆动”这件事说透做数据分析、量化研究或者机器学习特征工程的人迟早会撞上一个绕不过去的坎手上有好几个随机变量想把它们加一加、减一减然后算新变量的方差或者协方差。这时候如果只会套定义式场面通常很难看——项数爆炸、符号乱飞、算完还不知道自己错在哪。协方差的拆分和加减计算公式本质上就是一套“把复杂线性组合拆成简单两两组合”的代数工具学会之后你会发现很多看似吓人的矩阵式子拆开就是几行小学加法。这一页要讲清的就是协方差为什么能拆、怎么拆、加减号怎么处理、拆完之后怎么验证以及我在实际项目里踩过的那些坑。先给结论协方差对它的两个自变量都是线性的这个性质叫双线性。只要记住“常数提出来、加法拆开、减法带着符号走”你就能处理绝大多数场景。但真正容易出错的地方不在公式本身而在使用条件、样本与总体的区别、以及“协方差为零”被过度解读。下面从直觉开始一层层拆。1.1 一个不用公式也能讲清的定义协方差衡量的是两个变量“同向摆动”的程度。把 X 和 Y 各自减去自己的均值得到中心化后的离差再把同一时刻的两个离差乘起来最后取期望。如果大多数时候一个高于均值、另一个也高于均值乘积为正一个高于均值、另一个低于均值乘积为负。正负相互抵消之后剩下的那个数就是协方差。写成式子就是 Cov(X,Y) E[(X - EX)(Y - EY)]等价的展开形式是 E[XY] - E[X]E[Y]。后一个形式在推导时特别好用因为它把“期望的乘积”和“乘积的期望”分开了。你可以把它理解成协方差 联合矩 - 边缘矩的乘积。这个视角在拆分时会反复出现。注意一个细节协方差的量纲是 X 的量纲乘以 Y 的量纲。X 是“元”、Y 是“公斤”协方差的单位就是“元·公斤”本身没有太直观的物理意义。所以实际汇报时通常会转成相关系数但做代数推导时保留协方差原样反而最方便因为线性性质不会被标准化破坏。1.2 为什么协方差比方差更难用量纲与线性组合方差只有一个变量Cov(X,X) Var(X)所有公式都是它自己的事。协方差一旦涉及两个变量就多了一层“配对关系”。当你构造新变量比如 Z X Y 或者 W 2X - 3Y新变量的方差不再是各部分方差的简单相加中间会多出交叉项。这个交叉项就是协方差。很多人第一次算组合方差时会下意识写成 Var(XY) Var(X) Var(Y)然后发现和模拟结果对不上。原因就是漏了 2Cov(X,Y)。如果 X 和 Y 正相关组合的波动会被放大负相关则会被对冲掉。金融里讲“分散化降低风险”数学上就是让协方差项为负或者足够小。所以拆分公式的真正价值在于它把“新变量的矩”转化成“原始变量两两之间的矩”。原始变量如果有 n 个两两组合最多 n(n1)/2 项虽然也不少但每一项都是可以直接从协方差矩阵里查到的标准件。你不需要每次重新推期望只需要做系数乘法和加法。1.3 拆分的动机把复杂随机变量拆成简单块实际项目里随机变量往往不是单独出现的。用户行为分数可能是“浏览时长 0.5×点击次数 - 0.3×跳出次数”风控模型里的某个综合指标可能是十几个子指标的加权和。你要算这个综合指标的方差或者算它和另一个指标的协方差直接按定义展开会非常痛苦。拆分的思路是先把每个复杂变量写成简单变量的线性组合然后利用双线性把协方差拆到最底层。拆完之后你得到的是一张“谁和谁有协方差、系数是多少”的表。这张表不仅能算结果还能做归因——哪两个原始变量的协方差贡献最大一目了然。我在一个用户分层项目里就这么干过综合得分由五个子维度加权求和一开始直接对得分列算协方差后来要做“某个子维度调整权重后得分波动怎么变”的敏感性分析硬算每次都要重新跑全量数据。改成拆开算之后只需要维护一个 5×5 的协方差矩阵权重一变用矩阵乘法几秒钟就能出结果。这就是拆分带来的可复用性。2. 协方差拆分的底层逻辑双线性到底怎么用双线性是整套公式的地基。说人话就是协方差对第一个位置是线性的对第二个位置也是线性的。你可以先把第一个位置拆开也可以先把第二个位置拆开顺序无所谓结果一样。但有一个前提必须强调这里的“线性”指的是对随机变量本身的线性组合系数必须是常数不能是随机变量。如果系数本身依赖数据比如 Cov(X, Y·Z)那就不能直接把 Y 提出来那是另一回事。下面把加法、减法、系数提取、多变量求和四种情况分开讲。每一种都给一个“什么时候用”的场景避免你背了公式却不知道往哪套。2.1 加法拆分Cov(XY, Z) 到底等于什么最基础的一条Cov(X Y, Z) Cov(X, Z) Cov(Y, Z)。证明很短从定义出发把 (XY - E(XY)) 拆成 (X-EX) (Y-EY)乘上 (Z-EZ) 之后期望的线性性直接分开。这里用到的唯一性质就是期望的线性性没有独立性假设也没有任何分布假设。这条公式的实用场景是“合成指标与某个外部变量的协方差”。比如你把“页面停留时长”和“加购次数”合成一个兴趣分想知道兴趣分和“复购概率”的协方差直接拆成两个协方差相加即可。第二个位置同理Cov(X, YZ) Cov(X,Y) Cov(X,Z)。两边都拆就是四项下一节会讲。需要提醒的是加法拆分不要求 X 和 Y 独立也不要求它们同分布。哪怕 X 和 Y 强相关这条式子照样成立。很多人在这里犯嘀咕是因为把“方差相加需要独立性”和“协方差拆分不需要独立性”搞混了。方差相加时多出来的 2Cov 项恰恰说明它不假设独立而协方差拆分本身就是处理相关性的工具。2.2 系数拆分Cov(aX, bY) 里的常数怎么处理Cov(aX, bY) ab·Cov(X,Y)其中 a、b 是常数。这条看起来简单但符号最容易错。a 和 b 各自提出来乘在一起负负得正、正负得负。比如 Cov(-2X, 3Y) -6Cov(X,Y)Cov(-X, -Y) Cov(X,Y)。如果你在展开多项式时漏掉一个负号后面整张表都会错。更一般地Cov(aX b, cY d) ac·Cov(X,Y)。截距 b、d 对协方差没有影响因为协方差只看离差整体平移不改变摆动幅度。这条在数据预处理时很有用你给特征做中心化或者加一个常数偏移协方差不变但如果你做了缩放协方差会按缩放系数乘积变化。我见过一个典型的翻车现场某同学对特征做了标准化然后用标准化后的数据算组合方差发现和原始数据算出来的对不上以为是代码有 bug。其实标准化把每个变量除以了标准差协方差要乘以两个标准差的倒数方差的量纲也变了。公式没错是他忘了系数也在变。所以做量纲变换时最好把系数显式写出来别让库函数悄悄替你处理。2.3 复合拆分两个线性组合之间的协方差通用式把上面两条合起来就得到最常用的通用公式Cov(Σᵢ aᵢXᵢ, Σⱼ bⱼYⱼ) Σᵢ Σⱼ aᵢbⱼ·Cov(Xᵢ, Yⱼ)这个式子是所有拆分的总纲。左边是两个“加权和”之间的协方差右边是每一对原始变量协方差的加权和权重就是两个系数的乘积。注意 X 和 Y 可以是同一组变量也可以有重叠如果有重叠Cov(Xᵢ, Xᵢ) 就是 Var(Xᵢ)不要漏掉。举个例子U 2X 3YV X - Y。那么 Cov(U,V) 2·1·Cov(X,X) 2·(-1)·Cov(X,Y) 3·1·Cov(Y,X) 3·(-1)·Cov(Y,Y)。整理一下就是 2Var(X) - 2Cov(X,Y) 3Cov(X,Y) - 3Var(Y) 2Var(X) Cov(X,Y) - 3Var(Y)。你可以看到Cov(X,Y) 和 Cov(Y,X) 是同一个数合并时系数要相加这一步很容易漏。通用式的价值在于它可以直接翻译成矩阵运算。设 a 是列向量X 是随机向量那么 Cov(aᵀX, bᵀX) aᵀΣb其中 Σ 是 X 的协方差矩阵。实际写代码时你根本不需要手写双重循环一次矩阵乘法就完事。但手推一遍是必要的否则矩阵维度对不上时你都不知道错在哪。2.4 减法拆分符号是跟着系数走的减法不是单独的一条公式它就是系数为 -1 的加法。Cov(X - Y, Z) Cov(X,Z) - Cov(Y,Z)Cov(X, Y - Z) Cov(X,Y) - Cov(X,Z)。两边都减就是 Cov(X-Y, Z-W) Cov(X,Z) - Cov(X,W) - Cov(Y,Z) Cov(Y,W)。展开时按“前一项的每个部分乘以后一项的每个部分”来做符号由系数决定不要凭感觉写。一个记忆技巧把 Cov 暂时当成普通乘法把 X、Y、Z 当成代数里的字母把常数当成系数。Cov(X-Y, Z-W) 就类似 (X-Y)(Z-W) XZ - XW - YZ YW然后把每一项换成对应的协方差。这个方法在展开多变量式子时特别顺手但它只是记忆辅助不能真的把随机变量当普通数乘因为 Cov(X,X) 要写成 Var(X)而且 Cov(X,Y) 和 Cov(Y,X) 要合并。减法场景在“差值分析”里很常见。比如你想看“实验组指标减去对照组指标”的波动或者“用户本月消费减上月消费”的方差。这时候 Var(X-Y) Var(X) Var(Y) - 2Cov(X,Y)如果前后两期正相关差值的方差会比“独立假设”下小很多。做样本量估算时如果忽略这个协方差很容易把所需样本量估大。3. 加减计算公式的完整推导与记忆方法这一节把方差和协方差的加减公式放在一起因为实际使用时它们几乎总是成对出现。你算组合方差绕不开协方差你算协方差又经常需要先算方差。把这两套公式放在同一张表里对照比分开背要牢得多。3.1 Var(X±Y) 与协方差的关系Var(X Y) Var(X) Var(Y) 2Cov(X,Y)Var(X - Y) Var(X) Var(Y) - 2Cov(X,Y)这两条是使用频率最高的。注意减号只影响交叉项不影响两个方差项——因为 (X-Y) 的离差平方展开后X² 和 Y² 的系数都是正的只有交叉项带负号。很多人会误写成 Var(X-Y) Var(X) - Var(Y)这是把“差的方差”和“方差的差”搞混了两者完全不是一回事。如果 X 和 Y 独立协方差为零两条式子都退化成 Var(X) Var(Y)。但独立是充分条件不是必要条件协方差为零只能说明没有线性相关不能说明独立。这一点后面会专门讲。一个具体的数假设 Var(X)4Var(Y)9Cov(X,Y)3。那么 Var(XY)49619Var(X-Y)49-67。你可以看到正相关时“和”的波动更大“差”的波动更小。如果 Cov 变成 -3结果就反过来。这就是为什么做配对实验时前后测的正相关能显著降低差值分析的噪声。3.2 两两组合Cov(XY, Z-W) 怎么展开不出错把前面几条合起来Cov(XY, Z-W) Cov(X,Z) - Cov(X,W) Cov(Y,Z) - Cov(Y,W)。四项符号依次是“正负正负”。如果你把第二项写成 Cov(X,W)或者把最后一项写成 Cov(Y,W)结果就会偏。更长的式子同理。Cov(2X - 3Y Z, X Y - 2Z) 这种建议先在纸上画一个表格行是第一个组合里的每一项列是第二个组合里的每一项格子里填“系数乘积 × 对应协方差”最后把所有格子加起来。表格法虽然笨但几乎不会错尤其适合系数多、符号杂的场景。X系数1Y系数1-2Z系数-22X2Var(X)2Cov(X,Y)-4Cov(X,Z)-3Y-3Cov(X,Y)-3Var(Y)6Cov(Y,Z)ZCov(X,Z)Cov(Y,Z)-2Var(Z)把表里所有项加起来2Var(X) - Cov(X,Y) - 3Cov(X,Z) - 3Var(Y) 6Cov(Y,Z) - 2Var(Z)。注意 Cov(X,Y) 出现了两次2 和 -3 合并成 -1Cov(X,Z) 出现了 -4 和 1合并成 -3。这种合并步骤一定要单独做一遍不要心算。3.3 多变量和的方差从展开式到矩阵形式n 个变量相加的方差Var(Σᵢ Xᵢ) Σᵢ Var(Xᵢ) 2Σᵢⱼ Cov(Xᵢ, Xⱼ)右边第二项是所有“两两不重复组合”的协方差乘以 2。为什么乘 2因为 Cov(Xᵢ,Xⱼ) 和 Cov(Xⱼ,Xᵢ) 在完整展开中各出现一次两者相等合并后就是 2 倍。如果你用矩阵形式写Var(wᵀX) wᵀΣw其中 Σ 的对角线是方差非对角线是协方差w 是权重向量。矩阵形式自动处理了那个 2 倍因为 Σ 是对称矩阵wᵀΣw 展开后交叉项自然出现两次。这两种写法要都会。手推时用展开式能看清每一项的来源写代码时用矩阵式简洁且不容易漏项。我通常的做法是先用小规模例子手推验证矩阵结果确认维度、转置、系数都对再上大规模数据。否则矩阵乘法不报错但结果错了排查起来非常痛苦。3.4 记忆法把 Cov 当“乘法”把常数当“系数”我自己的记忆方式很朴素把 Cov(A, B) 暂时看成 A×B把 Var(X) 看成 X×X。这样 Cov(XY, Z) 就是 (XY)×Z XZ YZ对应 Cov(X,Z)Cov(Y,Z)。Cov(aX, bY) 就是 aX×bY ab·XY对应 ab·Cov(X,Y)。加减号也自然跟着走。但要设三条“刹车”第一Cov(X,X) 不能写成 X²要写成 Var(X)。第二Cov(X,Y) 和 Cov(Y,X) 是同一个数合并同类项时系数相加不能当成两个不同的项。第三这个“乘法”只对线性组合有效遇到乘积、平方、非线性函数不能直接套。比如 Cov(X, Y²) 不能拆成 Y·Cov(X,Y)因为 Y² 不是 Y 的线性组合。这三条刹车踩住日常推导基本不会出大错。剩下的就是熟练度问题多展开几个长式子手感和警惕性自然就上来了。4. 实操用代码把公式钉死公式看懂了不代表会用我建议每个公式都用代码验证一遍。下面用 Python 和 NumPy 演示数据全部是模拟生成的不涉及任何真实业务数据。你可以在本地直接跑改改系数看结果是否一致。验证通过之后再把这些函数封装成工具以后遇到组合方差直接调用。4.1 样本协方差的计算与自由度先明确一个容易混淆的点总体协方差和样本协方差的公式不一样。总体协方差除以 n样本协方差通常除以 n-1无偏估计。NumPy 的np.cov默认ddof1也就是除以 n-1Pandas 的DataFrame.cov()默认也是 n-1。如果你手写公式除以 n再和库函数对比会发现差一个系数 n/(n-1)数据量小的时候差异很明显。import numpy as np rng np.random.default_rng(42) n 1000 x rng.normal(10, 2, n) y 0.6 * x rng.normal(0, 3, n) # 手写样本协方差除以 n-1 cov_manual np.sum((x - x.mean()) * (y - y.mean())) / (n - 1) # 库函数 cov_np np.cov(x, y, ddof1)[0, 1] print(cov_manual, cov_np)除了自由度还要注意“中心化”这一步。手写时先减均值再乘数值稳定性更好如果直接用 E[XY] - E[X]E[Y] 的公式当均值很大、波动很小时两个大数相减会损失精度。我在处理金额类数据时吃过这个亏数值在百万级别波动只有几十块直接用原始公式算出来的协方差和中心化后算的差了好几个数量级。后来统一先中心化问题就消失了。4.2 随机模拟验证拆分公式下面验证 Cov(XY, Z) Cov(X,Z) Cov(Y,Z)以及 Var(X-Y) Var(X) Var(Y) - 2Cov(X,Y)。用同一批模拟数据左边算一次右边算一次看差值是否接近零。import numpy as np rng np.random.default_rng(7) n 200000 x rng.normal(0, 1, n) y 0.5 * x rng.normal(0, 1, n) z -0.3 * x 0.8 * y rng.normal(0, 1, n) def cov(a, b): return np.mean((a - a.mean()) * (b - b.mean())) left cov(x y, z) right cov(x, z) cov(y, z) print(Cov(XY,Z):, left, right, left - right) var_left np.var(x - y) var_right np.var(x) np.var(y) - 2 * cov(x, y) print(Var(X-Y):, var_left, var_right, var_left - var_right)样本量足够大时两边的差异应该在 10⁻³ 量级以内。如果差异很大先检查是不是把样本方差和总体方差混用了再检查协方差的符号。模拟验证的好处是你能亲眼看到公式成立而不是靠“我觉得它应该对”。以后写复杂展开式时也可以先用小规模模拟对一遍再上真实数据。4.3 组合方差的计算一个虚构的权重调整案例假设某研究小组构造了一个综合指标由三个子指标加权而成S 0.5A 0.3B 0.2C。三个子指标的协方差矩阵已知对角线是方差非对角线是协方差。现在要把 B 的权重从 0.3 调到 0.4A 的权重相应降到 0.4问综合指标的方差怎么变。import numpy as np # 虚构的协方差矩阵顺序为 A, B, C Sigma np.array([ [4.0, 1.2, 0.6], [1.2, 9.0, -0.9], [0.6, -0.9, 2.5] ]) w_old np.array([0.5, 0.3, 0.2]) w_new np.array([0.4, 0.4, 0.2]) var_old w_old Sigma w_old var_new w_new Sigma w_new print(var_old, var_new, var_new - var_old)手算一遍可以对照w_old 的组合方差 0.25×4 0.09×9 0.04×2.5 2×(0.5×0.3×1.2 0.5×0.2×0.6 0.3×0.2×(-0.9))。算出来大约是 1 0.81 0.1 2×(0.18 0.06 - 0.054) 1.91 0.372 2.282。代码结果应该一致。这个例子的意义不在于数字本身而在于展示“拆开之后可以复用”。协方差矩阵不变权重随便改一次矩阵乘法就出新方差。如果你每次都重新构造综合指标列再算方差数据量大时开销完全没必要。更重要的是拆开之后你能做归因哪个子指标的方差贡献最大哪一对的协方差在拖后腿一眼就能看出来。4.4 协方差矩阵的分块拆分当变量分成两组时协方差矩阵可以写成块状Σ [[Σ_XX, Σ_XY], [Σ_YX, Σ_YY]]其中 Σ_XY 是 X 组和 Y 组之间的交叉协方差矩阵。如果你只关心“X 组的线性组合与 Y 组的线性组合”的协方差直接用 aᵀΣ_XY b 即可不需要把整个大矩阵搬出来。这在特征分组、多模态数据、分层建模里很常见。分块之后还有一个常用结论如果 Z (X, Y) 服从联合分布那么条件协方差和边缘协方差之间有关系但那个公式比普通拆分复杂得多涉及条件期望。初学者最容易犯的错就是把普通双线性拆分直接套到条件协方差上。记住Cov(XY, Z | W) 可以拆成 Cov(X,Z|W)Cov(Y,Z|W)这是对的因为条件协方差对给定 W 仍然是双线性的但 Cov(X,Y|Z) 不能拆成 Cov(X,Y) 减去什么东西那是全协方差公式的范畴形式不一样。5. 常见坑与排查技巧公式本身不难难的是边界条件。下面这些坑我几乎每个都踩过有的还踩过不止一次。把它们整理成速查表下次结果对不上时按顺序排查比盲目重算效率高得多。5.1 协方差为零不等于独立这是被误解最多的一条。协方差为零只说明两个变量没有线性相关完全可能存在强烈的非线性关系。经典例子X 在 [-1,1] 上均匀分布Y X²。显然 Y 完全由 X 决定但 Cov(X,Y) E[X³] - E[X]E[X²] 0 - 0 0。如果你看到协方差为零就断言“两者无关”在这个例子上会错得很离谱。实际工作中做完协方差检查后至少还要看一眼散点图或者做一下分组统计。金融里讲“零相关不代表零风险”机器学习里讲“线性相关系数抓不到非线性交互”说的都是同一件事。协方差是线性工具别让它干非线性检测的活。5.2 样本与总体的自由度差异前面提过一次这里再强调手写公式时想清楚除以 n 还是 n-1。做理论推导用总体公式除以 n做数据估计用样本公式除以 n-1。如果你把两种混用再去和库函数对比差异会随着样本量变小而变大。小样本时这个差异尤其明显n10 时 n/(n-1) 是 1.11协方差直接差 11%。还有一个隐蔽的坑分组计算协方差时每组各自中心化用的是组内均值不是全局均值。如果你先对全量数据中心化再分组算结果会和分组后各自中心化不一样。这两种算法回答的是不同问题别混着用。5.3 量纲与标准化的连锁反应协方差带量纲方差的量纲是原变量量纲的平方。你对变量做标准化协方差会变做对数变换协方差会变做归一化协方差也会变。每次变换后原来的协方差矩阵不能直接拿来用必须重新算或者显式地乘上变换的雅可比系数。一个实用建议如果只是比较相对大小先把变量标准化成单位方差此时协方差矩阵就是相关系数矩阵对角线全是 1非对角线在 [-1,1] 之间解释起来直观得多。但如果你要做组合方差的实际数值计算标准化会改变权重的含义不能直接混用。我的习惯是推导和归因用相关系数最终数值计算用原始量纲两套结果分开保存避免来回换算出错。5.4 条件协方差与普通拆分的混淆普通拆分处理的是“无条件协方差”条件协方差是另一套东西。给定 W 的条件下Cov(XY, Z | W) Cov(X,Z|W) Cov(Y,Z|W) 仍然成立因为条件协方差在给定 W 后依然是双线性的。但如果你想把 Cov(X,Y|W) 展开成 Cov(X,Y) 加上某个修正项那就需要全协方差公式Cov(X,Y) E[Cov(X,Y|W)] Cov(E[X|W], E[Y|W])这个式子的直觉是总协方差 组内协方差的平均 组间均值的协方差。它在分层分析、混合模型、因果推断里很有用但它和普通双线性拆分不是一回事。我见过有人把 E[Cov(X,Y|W)] 直接当成 Cov(X,Y|W) 用维度都对不上结果自然错。5.5 数值稳定性大数相减的精度陷阱前面提过中心化的问题这里展开说。计算机浮点数在大数相减时会丢精度。如果你的数据均值是 10⁶ 量级波动是 10⁰ 量级直接用 E[XY] - E[X]E[Y] 算协方差两个接近 10¹² 的数相减有效数字可能只剩几位。结果就是协方差算出来忽大忽小甚至符号都反了。解决办法很直接先减均值再算乘积的平均。NumPy 的np.cov内部就是这么做的。如果你自己写公式务必先中心化。另外数据量特别大时可以用两遍法第一遍算均值第二遍算中心化后的乘积和。单遍的增量更新算法虽然省内存但数值稳定性通常不如两遍法除非你用专门的补偿求和。现象可能原因排查动作组合方差比各部分方差之和还小很多漏了负协方差项或符号写反检查交叉项系数用模拟数据对一遍手算和库函数差一个固定比例自由度 n 与 n-1 混用确认 ddof 设置统一口径协方差为零但变量明显相关关系是非线性的画散点图做分组统计别只看线性系数大数数据协方差符号不稳定大数相减丢精度先中心化再算乘积和分组前后协方差对不上中心化用了全局均值而非组内均值明确问题口径统一中心化方式6. 应用场景哪些地方真的会用到拆分公式学会了还得知道往哪用。协方差拆分不是一个孤立的计算技巧它在很多领域都是“把复杂问题降维”的基础操作。下面挑四个我接触较多的场景讲清楚拆分在其中扮演的角色。每个场景都只讲思路和关键步骤不涉及任何具体机构或真实项目。6.1 组合风险归因谁在贡献波动金融和运营分析里经常要算“组合指标”的波动。把每个组成部分的方差、两两协方差列出来组合方差就是权重向量夹在协方差矩阵中间。拆开之后你可以做两件事一是边际贡献分析看每个组成部分增加一单位权重组合方差变化多少二是风险分解把总方差拆成“各部分的独立贡献”和“两两之间的交互贡献”。边际贡献的公式是 ∂Var/∂wᵢ 2(Σw)ᵢ也就是组合权重与协方差矩阵乘积的第 i 个分量再乘 2。这个式子直接来自二次型的求导本质还是双线性。实际做归因时要注意交互项不能简单平分给两个变量因为协方差可正可负平分可能掩盖真实的风险来源。我的做法是单独列一张“交互贡献表”把每一对的正负号和数值都写出来让读报告的人自己判断。6.2 特征构造合成特征之前先算一笔账机器学习里经常把多个特征加权合成一个新特征。合成之前最好先算一下新特征的方差以及它和目标变量的协方差。如果合成特征的方差过大模型可能不稳定如果它和目标变量的协方差没有比单个特征更高合成就是白费功夫。用拆分公式可以快速做“预演”不需要真的构造新列只需要特征的协方差矩阵和权重向量就能算出合成特征的方差以及它和目标变量的协方差目标变量与每个原始特征的协方差组成的向量点乘权重即可。这样你可以先在小规模上扫描权重组合找到候选后再上全量数据验证。比每次构造新列再跑模型要快得多。6.3 时间序列自协方差与差分平稳时间序列里的自协方差 Cov(Xₜ, Xₜ₋ₖ) 衡量相隔 k 期的观测之间的线性关系。做差分、移动平均、组合预测时协方差拆分同样适用。比如一阶差分 ΔXₜ Xₜ - Xₜ₋₁它的方差是 Var(Xₜ) Var(Xₜ₋₁) - 2Cov(Xₜ, Xₜ₋₁)。如果序列平稳两个方差相等式子化简成 2Var(X)(1 - ρ₁)其中 ρ₁ 是一阶自相关系数。这个式子直接说明了正自相关越强差分后的方差越小差分越“安静”。做组合预测时多个预测模型的加权平均其误差方差也可以拆成各模型误差方差和两两误差协方差。如果两个模型的误差负相关组合后的误差方差会显著下降这就是模型集成的数学基础之一。拆分在这里的作用是让你在选权重之前就能估算出集成的理论上限。6.4 实验分析用协变量降低方差做对照实验时即使随机分组指标仍然会有波动。如果有一个实验前就能观测到的协变量而且它和实验后指标有协方差可以用它来做方差缩减。核心思路是从实验后指标中减去一部分“可由协变量解释”的波动调整后的指标方差变成 Var(Y)(1 - ρ²)其中 ρ 是 Y 和协变量的相关系数。推导过程用到的就是协方差拆分调整后指标 Y - θX 的方差是 Var(Y) θ²Var(X) - 2θCov(X,Y)对 θ 求导令其为零得到最优 θ Cov(X,Y)/Var(X)。这个 θ 就是线性回归的斜率。你看一个看起来像“高级实验技巧”的东西底层就是 Var(X-Y) 的展开加一个极值条件。把公式拆开很多方法的门槛一下就降下来了。7. 我常用的检查清单与几个实操心得最后分享一套我自己用的检查流程每次算完组合方差或协方差按这个顺序过一遍能挡掉大部分低级错误。它不是万能公式但能帮你把排查范围快速缩小。第一步先确认口径总体还是样本除以 n 还是 n-1中心化用的是全局均值还是组内均值。第二步把展开式写成表格行是第一个组合的每一项列是第二个组合的每一项逐格填系数乘积和协方差最后合并同类项。第三步用小规模模拟数据验证随机生成几百个点左边按定义算右边按展开式算差值应该在数值误差范围内。第四步检查符号负系数有没有漏掉Cov(X,Y) 和 Cov(Y,X) 有没有重复计算对角线项有没有误写成协方差。第五步检查量纲如果做了标准化或对数变换协方差有没有跟着变。几个零散但很实用的心得。其一手推长式子时给每个原始变量编个号比如 X₁、X₂、X₃比用 X、Y、Z、W 不容易混。其二合并同类项时先把所有项列出来再合并不要边展开边合并脑子同时干两件事容易漏。其三代码里算协方差矩阵用np.cov(data, rowvarFalse)时注意数据的方向行是样本、列是变量方向搞反了矩阵维度会错得莫名其妙。其四如果协方差矩阵是从数据估计的检查一下它是不是半正定出现负特征值通常意味着样本量不足、变量高度共线或者缺失值处理出了问题。其五给别人讲的时候先讲“同向摆动”的直觉再上公式最后用一个小数字例子收尾比一上来堆符号有效得多。这套东西用熟之后你会发现很多看起来复杂的矩阵表达式拆开就是几行加减乘。真正需要小心的是前提条件和数据口径而不是公式本身。把这两个守住协方差的拆分和加减计算基本不会再给你添麻烦。
)
