线性代数拾遗（7）—— 最小二乘法的几何直观：从投影矩阵到最优拟合

1. 从投影到最小二乘几何视角的直观理解想象你站在阳光下身体的影子投射在地面上。这个简单的物理现象背后隐藏着线性代数中最重要的概念之一——投影。当我们把数据点拟合成直线时本质上就是在做类似的事情寻找原始数据在理想直线这个地面上的影子。在三维空间中一个向量b投影到平面上的过程可以完美诠释最小二乘法的几何意义。假设我们有一组实验数据点希望找到一条直线yaxb最佳拟合这些点。这里的最佳意味着所有数据点到直线的垂直距离平方和最小。这正是最小二乘法的核心思想。投影矩阵PA(AᵀA)⁻¹Aᵀ的神奇之处在于它自动完成了这个最优化的过程。当我们将数据向量b乘以P时得到的pPb就是b在A列空间中的投影也就是我们寻找的最优影子。误差向量eb-p则垂直于整个列空间确保了这是可能的最短距离。2. 投影矩阵的构造与性质2.1 从一维到高维的投影演进让我们先从简单的一维投影开始。给定向量b和ab在a上的投影p可以表示为 p a(aᵀa)⁻¹aᵀb这个公式的分子aᵀb衡量了b与a的相似程度分母aᵀa则是对a长度的归一化。当扩展到高维情况时单一向量a被矩阵A取代A的列向量张成了我们要投影到的子空间。投影矩阵P有两个关键性质幂等性P² P投影两次等于投影一次对称性Pᵀ P在正交投影的情况下这些性质保证了投影操作的稳定性。在实际计算中我们经常会遇到AᵀA不可逆的情况这时需要使用伪逆或其他正则化方法。2.2 投影矩阵的几何意义投影矩阵将整个空间分成两个正交的子空间列空间C(A)和左零空间N(Aᵀ)。任何向量b都可以唯一分解为 b p e 其中p∈C(A)e∈N(Aᵀ)且p⊥e这种分解在信号处理中有直接应用p可以看作信号e则是噪声。在机器学习中p代表模型能够解释的部分e则是残差。3. 最小二乘法的矩阵推导3.1 从投影到正规方程当我们面对超定方程组Axb方程数多于未知数时通常精确解不存在。最小二乘法的思路是寻找x̂使得‖Ax̂-b‖²最小。通过投影矩阵的几何视角这个最优解必然满足 AᵀAx̂ Aᵀb这就是著名的正规方程。推导过程非常直观最优解对应的pAx̂必须是b在C(A)上的投影因此误差eb-Ax̂必须垂直于C(A)即Aᵀ(b-Ax̂)0整理即得正规方程3.2 计算实例直线拟合考虑三个数据点(1,1)、(2,2)、(3,2)设拟合直线为yCDt。构建矩阵A和向量b A [1 1; 1 2; 1 3] b [1; 2; 2]计算正规方程 AᵀA [3 6; 6 14] Aᵀb [5; 11]解得 D 0.5, C 2/3 因此最佳拟合直线为y0.5t2/3这个简单的例子展示了如何将投影理论应用于实际问题。在MATLAB或Python中可以使用A\b直接计算最小二乘解背后正是基于这个原理。4. 最小二乘法的应用与扩展4.1 在实际问题中的应用最小二乘法在科学和工程中无处不在。在卫星定位中通过多个基站的信号延迟确定位置在经济学中估计模型参数在计算机视觉中相机标定和三维重建。这些应用的核心都是处理带有噪声的过量观测数据。一个典型的案例是房屋价格预测。假设我们有房屋面积、房间数、楼层等多个特征可以建立模型 价格 θ₀ θ₁×面积 θ₂×房间数 θ₃×楼层通过收集大量房屋交易数据用最小二乘法估计参数θ就能构建预测模型。关键在于确保设计矩阵A的各列线性无关否则AᵀA将不可逆。4.2 鲁棒最小二乘法标准最小二乘法对异常值outliers非常敏感。在实际应用中我们经常使用改进方法加权最小二乘给不同数据点赋予不同权重岭回归加入L2正则化项解决病态问题Lasso回归加入L1正则化获得稀疏解这些变体仍然基于投影的思想但针对不同问题特点进行了优化。例如岭回归的解可以表示为 x̂ (AᵀA λI)⁻¹Aᵀb当λ→0时它趋近于标准最小二乘解当λ增大时解变得更稳定但可能引入偏差。5. 与微积分方法的对比5.1 两种视角的联系微积分中我们通过求导寻找误差函数的最小值。对于E‖Ax-b‖²对x求导并令导数为零得到的正是正规方程AᵀAxAᵀb。这与投影方法得出的结论完全一致。这种一致性并非巧合。微积分中的梯度为零条件本质上要求误差向量与所有基向量正交——这正是投影的定义。两种方法殊途同归验证了最小二乘法的数学严谨性。5.2 几何直观的优势相比纯代数推导投影的几何视角提供了更直观的理解。它让我们看到为什么最优解要使误差正交于列空间正规方程背后的几何必然性解的唯一性取决于A的列线性无关性在处理复杂问题时这种几何直觉往往比纯符号运算更能指导我们找到正确方向。例如在理解正则化的作用时可以想象为在原始列空间上添加约束。在实际应用中我经常发现当数据出现异常时几何视角能更快定位问题。比如当残差呈现明显模式而非随机分布时可能意味着模型缺少了重要特征而不仅仅是数据噪声。