深度学习基础知识

深度学习基础知识回归1. 线性回归2. Softmax回归3. 其他常见回归模型a. 逻辑回归b. 岭回归 和 Lasso回归c. 多项式回归d. 泊松回归e. Cox回归比例风险模型总结与对比回归1. 线性回归线性回归是回归问题中最基础、最直观的模型。核心思想寻找一个线性关系用一条直线或一个超平面来拟合自变量特征和因变量目标之间的关系。模型公式对于有d个特征的样本x [x1, x2, ..., xd]预测值y_hat为y_hat w1*x1 w2*x2 ... wd*xd b其中w是权重b是偏置项。可以简写为向量形式y_hat w^T * x b。目标学习到最佳的权重w和偏置b使得模型的预测值y_hat与真实值y之间的差异尽可能小。损失函数最常用的是均方误差。它计算所有样本的预测值与真实值之差的平方的平均值。MSE (1/n) * Σ(y_i - y_hat_i)^2适用范围预测一个连续的、任意的实数值。例子预测房价、股票价格、气温、销售额等。总结线性回归输出一个连续的数值。2. Softmax回归Softmax回归虽然名字叫“回归”但它实际上是解决多分类问题最常用的模型之一。可以看作是线性回归在分类领域的延伸。核心思想将线性模型的输出通过Softmax函数转化为属于每个类别的概率分布。模型公式线性计算对于有d个特征的样本x为每个类别k(从1到K) 计算一个分数z_k w_k^T * x b_k这里每个类别都有自己独立的权重向量w_k和偏置b_k。Softmax变换将K个类别的分数[z1, z2, ..., zK]通过Softmax函数转换为概率y_hat_k exp(z_k) / (Σ(exp(z_j)) for j1 to K)Softmax函数确保所有输出概率y_hat_k都在 (0, 1) 之间且所有类别的概率之和为1。目标学习到最佳的权重和偏置使得对于每个样本其真实类别对应的预测概率尽可能大。损失函数最常用的是交叉熵损失。它衡量模型预测的概率分布与真实的概率分布真实类别标签为1其他为0的one-hot向量之间的差异。CrossEntropy - Σ(y_i * log(y_hat_i))其中y_i是真实标签的one-hot编码。适用范围解决多分类问题。例子图像分类识别猫、狗、汽车、新闻主题分类、手写数字识别等。总结Softmax回归输出一个概率分布用于多分类问题。3. 其他常见回归模型除了上述两种还有许多其他重要的回归模型用于解决不同场景下的问题。a. 逻辑回归本质虽然名字叫“回归”但它是二分类模型是Softmax回归在类别数为2时的特例。核心使用Sigmoid函数将线性输出z w^T*x b映射到 (0, 1) 区间这个值被解释为属于正类的概率P(y1|x)。输出一个介于0和1之间的概率值。例子垃圾邮件识别是/否、疾病诊断患病/健康、点击率预测。b. 岭回归 和 Lasso回归这两种都是线性回归的改进版用于解决线性回归可能出现的过拟合问题。共同点都在损失函数中增加了一个正则化项以惩罚过大的模型权重使模型更简单。岭回归损失函数 MSE λ * ||w||²(L2范数权重的平方和)它会让权重值整体变小但不会完全变为0。Lasso回归损失函数 MSE λ * ||w||(L1范数权重的绝对值之和)它倾向于将不重要的特征的权重压缩至0从而实现特征选择。弹性网络结合了岭回归和Lasso回归两种正则化项。c. 多项式回归核心线性回归的扩展通过引入特征的高次项如x²,x³来拟合非线性关系。模型y_hat w0 w1*x w2*x² ...注意阶数不能太高否则极易过拟合。d. 泊松回归核心适用于因变量是计数数据非负整数的情况。例如一天内网站的被访问次数、一个路口的事故次数。模型假设因变量y服从泊松分布使用对数连接函数将线性模型的输出与因变量的期望值联系起来log(E(y)) w^T*x b。e. Cox回归比例风险模型核心一种用于生存分析的回归模型用于研究各个因素对生存时间的影响。输出不是预测具体的生存时间而是评估不同特征对“风险率”的影响。总结与对比为了更直观地理解可以参考下面的表格模型名称主要任务输出形式核心特点/激活函数典型应用线性回归回归任意实数值无激活函数直接输出预测房价、销量Softmax回归多分类概率分布所有类别概率和为1Softmax函数图像分类、文本分类逻辑回归二分类一个概率值属于正类的概率Sigmoid函数垃圾邮件检测、广告点击预测岭/Lasso回归回归任意实数值在线性回归损失上加正则化项处理多重共线性防止过拟合多项式回归回归任意实数值引入特征的高次项拟合简单的非线性曲线泊松回归回归非负整数值计数对数连接函数假设泊松分布计数数据预测访问量、事故数Cox回归生存分析风险比比例风险模型医学研究分析生存时间与因素的关系核心关系梳理回归 vs 分类首先要明确你的问题是预测一个连续值回归还是一个离散类别分类。从线性到Softmax线性回归是基础。当你想用线性模型做多分类时就在其输出端加上一个Softmax函数它就变成了Softmax回归。当类别数2时Softmax回归等价于逻辑回归。改进与扩展为了解决线性回归的过拟合问题诞生了岭回归和Lasso回归。为了拟合非线性数据有了多项式回归。为了处理特定类型的数据计数、生存时间又发展出了泊松回归和Cox回归。希望这个全面的介绍能帮助你更好地理解这些常见的回归模型