1. 线性回归基础与核心原理线性回归是机器学习领域最基础也最重要的算法之一它通过建立输入特征与输出目标之间的线性关系模型实现对连续值的预测。这个看似简单的算法背后蕴含着机器学习建模的核心思想。1.1 线性回归的数学表达线性回归模型的标准形式为 hθ(x) θ₀ θ₁x₁ θ₂x₂ ... θₙxₙ其中hθ(x) 表示预测值θ₀ 是偏置项biasθ₁到θₙ 是各个特征对应的权重参数x₁到xₙ 是输入特征值这个线性方程实际上定义了一个n维空间中的超平面。在二维情况下单个特征它就是我们熟悉的直线方程ykxb。1.2 损失函数与参数优化为了找到最优的参数θ我们需要定义一个衡量模型预测好坏的指标——损失函数Loss Function。对于线性回归最常用的是均方误差MSE损失J(θ) 1/2m * Σ(hθ(xⁱ) - yⁱ)²其中m 是训练样本数量hθ(xⁱ) 是第i个样本的预测值yⁱ 是第i个样本的真实值这个损失函数直观地反映了预测值与真实值之间的差距平方和。我们的目标就是找到使J(θ)最小的θ值。为什么使用平方误差而不是绝对误差平方误差在数学上更易处理可导且对大误差给予更高惩罚使模型更关注显著错误。2. 梯度下降算法详解梯度下降是优化模型参数的核心算法它通过迭代方式逐步调整参数使损失函数值不断减小。2.1 梯度下降的工作原理梯度下降的更新规则为 θⱼ : θⱼ - α * ∂J(θ)/∂θⱼ其中α 是学习率learning rate∂J(θ)/∂θⱼ 是损失函数对参数θⱼ的偏导数对于线性回归偏导数的具体形式为 ∂J(θ)/∂θⱼ 1/m * Σ(hθ(xⁱ) - yⁱ)xⱼⁱ这个更新过程可以理解为参数沿着损失函数下降最快的方向负梯度方向移动一小步。2.2 学习率的选择与调优学习率α是梯度下降中最重要的超参数之一它直接影响算法的收敛性和性能学习率太小收敛速度过慢需要大量迭代才能达到最优解学习率太大可能导致震荡甚至发散无法收敛实践中常用的学习率调优方法网格搜索尝试一系列值如0.001, 0.003, 0.01, 0.03, 0.1等学习率衰减随着迭代逐步减小学习率自适应学习率算法如Adam、RMSprop等经验法则可以从0.01开始尝试观察损失函数下降曲线。理想情况下损失应该平稳下降最后在一定范围内波动。2.3 梯度下降的变体根据每次迭代使用的数据量不同梯度下降有三种主要变体类型每次迭代使用的数据量特点适用场景批量梯度下降全部训练数据稳定但计算量大小数据集随机梯度下降单个样本波动大但计算快大规模数据小批量梯度下降小批量样本如32、64平衡稳定性和效率最常见选择在现代机器学习实践中小批量梯度下降Mini-batch GD最为常用通常批量大小设为2的幂次方32、64、128等以利用硬件并行计算优势。3. 多特征处理与向量化实现现实问题往往涉及多个特征有效处理多特征输入是构建实用模型的关键。3.1 向量化表示与计算使用向量和矩阵表示可以极大简化多特征模型的表达和计算参数向量θ [θ₀, θ₁, ..., θₙ]ᵀ特征矩阵Xm×(n1)矩阵每行一个样本第一列为1对应θ₀预测值向量hθ(X) Xθ梯度计算∇J(θ) 1/m * Xᵀ(Xθ - y)向量化实现不仅数学表达简洁更重要的是可以利用现代计算库如NumPy的优化实现高效并行计算。# 向量化实现的Python示例 import numpy as np def compute_cost(X, y, theta): m len(y) predictions X.dot(theta) cost (1/(2*m)) * np.sum(np.square(predictions - y)) return cost def gradient_descent(X, y, theta, alpha, iterations): m len(y) cost_history [] for _ in range(iterations): gradients (1/m) * X.T.dot(X.dot(theta) - y) theta theta - alpha * gradients cost_history.append(compute_cost(X, y, theta)) return theta, cost_history3.2 特征缩放技术当特征量纲差异较大时如年龄0-100vs收入10000-100000直接使用原始值会导致梯度下降效率低下。常用的特征缩放方法包括标准化Z-score标准化 x (x - μ) / σ 其中μ是均值σ是标准差最大最小值缩放 x (x - min) / (max - min) 将特征缩放到[0,1]范围均值归一化 x (x - μ) / (max - min)特征缩放后所有特征大致处于相同量级使梯度下降能更直接地找到最优解方向。但注意测试数据应使用与训练数据相同的缩放参数4. 多项式回归与模型扩展当数据关系并非严格线性时多项式回归提供了灵活的建模方式。4.1 多项式特征构造通过将原始特征进行多项式组合可以捕捉非线性关系。例如对于单特征x可以构造 hθ(x) θ₀ θ₁x θ₂x² ... θₙxⁿ实现时可以使用scikit-learn的PolynomialFeaturesfrom sklearn.preprocessing import PolynomialFeatures poly PolynomialFeatures(degree2, include_biasFalse) X_poly poly.fit_transform(X)4.2 多项式回归的注意事项过拟合风险高阶多项式可能完美拟合训练数据但泛化能力差解决方案使用正则化如L2正则化或交叉验证选择合适阶数特征缩放更重要多项式特征后特征值范围差异可能更大必须进行特征缩放以保证梯度下降效率可解释性降低高阶项使模型更复杂难以直观理解4.3 模型评估与选择评估多项式回归效果的关键指标训练误差 vs 验证误差判断过拟合/欠拟合学习曲线观察增加数据是否能改善性能交叉验证可靠评估模型泛化能力实践中建议从低阶如2-3次开始尝试逐步增加复杂度观察验证误差变化。5. 实战技巧与常见问题5.1 梯度下降不收敛的排查如果损失函数不收敛或震荡可能原因及解决方案学习率过大减小α值或使用学习率衰减特征未缩放检查并应用特征缩放代码错误验证梯度计算是否正确梯度检查迭代次数不足增加迭代次数5.2 特征工程实用技巧特征选择使用相关性分析或模型特征重要性筛选关键特征交互特征考虑特征间的乘积或组合如面积长×宽分箱处理将连续特征离散化为区间捕捉非线性关系5.3 正则化应用为防止过拟合可以在损失函数中加入正则化项L2正则化岭回归 J(θ) MSE λΣθⱼ²L1正则化Lasso回归 J(θ) MSE λΣ|θⱼ|正则化参数λ控制惩罚强度可通过交叉验证选择。5.4 完整项目工作流数据探索与可视化数据预处理缺失值、异常值处理特征工程与选择模型训练与调参模型评估与验证模型部署与应用在实际项目中数据清洗和特征工程往往占据大部分时间而模型实现相对简单。吴恩达教授在课程中强调Applied machine learning is basically feature engineering.应用机器学习本质上就是特征工程
