机器学习线性模型线性回归与逻辑回归详解 一、线性回归Linear Regression1.概念线性回归是回归任务最基础的算法用来建立自变量特征和连续型因变量标签之间的线性映射关系。它假设输出和输入特征是一个线性组合y ^ w 0 w 1 x 1 w 2 x 2 . . . w n x n w T x \hat{y}w_0w_1x_1 w_2x_2...w_nx_n\boldsymbol{w}^T\boldsymbol{x}y^w0w1x1w2x2...wnxnwTx其中w \boldsymbol{w}w是权重向量包含偏置w 0 w_0w0y ^ \hat{y}y^是预测出来的连续值。2.原理目标找到一组最优的权重w \boldsymbol{w}w让预测值和真实值的误差尽可能小。损失函数采用均方误差MSE平方损失L o s s ∑ i 1 m ( y i − y ^ i ) 2 ∑ i 1 m ( y i − w T x i ) 2 Loss\sum_{i1}^m (y_i-\hat{y}_i)^2\sum_{i1}^m\left(y_i-\boldsymbol{w}^T\boldsymbol{x}_i\right)^2Lossi1∑m(yi−y^i)2i1∑m(yi−wTxi)2求解方法两种常用方式1正规方程最小二乘法直接求导取极值一步算出w适合小数据集。2梯度下降法不断沿着损失函数梯度的反方向迭代更新w适合大数据。3.适用范围1任务预测连续数值回归比如房价预测、销售额预测、温度预测。2前提假设自变量和因变量存在近似的线性关系误差服从正态分布、误差方差齐性特征之间不要有严重多重共线性。⚠️不适合非线性关系的数据4.实现逻辑收集特征X和连续标签y构建线性预测式子定义MSE损失通过最小二乘/梯度下降最小化损失求出w用学到的w去做新样本预测。5.sklearn关键代码 理解from sklearn.linear_model import LinearRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_squared_errorimport numpy as npX np.random.rand(100,1)y 2.5*X 0.8 np.random.randn(100,1)*0.15X_train,X_test,y_train,y_test train_test_split(X,y,test_size0.2,random_state42)lr LinearRegression()lr.fit(X_train,y_train)print(“权重系数w”,lr.coef_)print(“偏置b”,lr.intercept_)y_pred lr.predict(X_test)print(“测试集MSE损失”,mean_squared_error(y_test,y_pred))你好 这是你第一次使用Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持除了标准的Markdown编辑器功能我们增加了如下几点新功能帮助你用它写博客全新的界面设计将会带来全新的写作体验在创作中心设置你喜爱的代码高亮样式Markdown将代码片显示选择的高亮样式进行展示增加了图片拖拽功能你可以将本地的图片直接拖拽到编辑区域直接展示全新的KaTeX数学公式语法增加了支持甘特图的mermaid语法1功能增加了多屏幕编辑Markdown文章功能增加了焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置等功能功能按钮位于编辑区域与预览区域中间增加了检查列表功能。功能快捷键撤销Ctrl/CommandZ重做Ctrl/CommandY加粗Ctrl/CommandB斜体Ctrl/CommandI标题Ctrl/CommandShiftH无序列表Ctrl/CommandShiftU有序列表Ctrl/CommandShiftO检查列表Ctrl/CommandShiftC插入代码Ctrl/CommandShiftK插入链接Ctrl/CommandShiftL插入图片Ctrl/CommandShiftG查找Ctrl/CommandF替换Ctrl/CommandG合理的创建标题有助于目录的生成直接输入1次#并按下space后将生成1级标题。输入2次#并按下space后将生成2级标题。以此类推我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。如何改变文本的样式强调文本强调文本加粗文本加粗文本标记文本删除文本引用文本H2O is是液体。210运算结果是 1024.插入链接与图片链接: link.图片:带尺寸的图片:居中的图片:居中并且带尺寸的图片:当然我们为了让用户更加便捷我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面选择一款你喜欢的代码片高亮样式下面展示同样高亮的代码片.// An highlighted blockvarfoobar;生成一个适合你的列表项目项目项目项目1项目2项目3计划任务完成任务创建一个表格一个简单的表格是这么创建的项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使用:----------居左使用----------:居右第一列第二列第三列第一列文本居中第二列文本居右第三列文本居左SmartyPantsSmartyPants 是一个文本转换工具主要功能是将普通的 ASCII 标点符号自动转换为更美观的印刷体标点符号。例如原始符号转换后说明引号“引号”直引号变弯引号单引号‘单引号’直单引号变弯单引号--–两个连字符变短破折号---—三个连字符变长破折号...…三个点变省略号创建一个自定义列表MarkdownText-to-HTMLconversion toolAuthorsJohnLuke如何创建一个注脚一个具有注脚的文本。2注释也是必不可少的Markdown将文本转换为HTML。KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:Gamma公式展示Γ ( n ) ( n − 1 ) ! ∀ n ∈ N \Gamma(n) (n-1)!\quad\forall n\in\mathbb NΓ(n)(n−1)!∀n∈N是通过欧拉积分Γ ( z ) ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) \int_0^\infty t^{z-1}e^{-t}dt\,.Γ(z)∫0∞tz−1e−tdt.你可以找到更多关于的信息LaTeX数学表达式here.新的甘特图功能丰富你的文章2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid关于甘特图语法参考 这儿,UML图表可以使用UML图表进行渲染例如下面产生的一个序列图王五李四张三王五李四张三李四想了很长时间, 文字太长了不适合放在一行.你好李四, 最近怎么样?你最近怎么样王五我很好谢谢!我很好谢谢!打量着王五...很好... 王五, 你怎么样?关于UML图表语法参考 这儿,流程图链接长方形圆圆角长方形菱形关于Mermaid语法参考 这儿,FLowchart流程图我们依旧会支持flowchart.js的流程图语法Created with Raphaël 2.3.0开始我的操作确认结束yesno关于Flowchart流程图语法参考 这儿.导出与导入导出如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到文章导出生成一个.md文件或者.html文件进行本地保存。导入如果你想加载一篇你写过的.md文件在上方工具栏可以选择导入功能进行对应扩展名的文件导入继续你的创作。mermaid语法说明 ↩︎注脚的解释 ↩︎
