30分钟打通深度学习数学基础跟着李宏毅教程走一遍【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial第一次翻开李宏毅机器学习课程leedl-tutorial这类深度学习课程时你大概率会被四个字母卡住grad。梯度下降、反向传播名字一个比一个唬人公式更像一堵墙。但别慌你真正需要的深度学习数学基础远没有想象中高深看懂一张图就够了。一张图讲透这张图能一次说明白它就是全文的骨架图注每个输入 x 先乘上权重 W要学出来的参数加上偏置 b再过一遍激活函数 σ就是那个把输出弯弯曲曲的函数最后汇出 y。搭模型、调训练、防翻车三件事全藏在这几条箭头的不同位置里正向流一遍是搭模型挪动 W 和 b 是调训练判断挪得对不对是防翻车。 搭模型要算什么拆解神经网络的前向传播神经网络不是玄学就是加权求和弯一下反复做。每层的计算能压成一行a σ(b Wx)W 是权重矩阵每个输入各值多少b 是偏置起点在哪σ 是激活函数负责把直线掰弯。没有 σ多少层叠起来都会塌成一条直线什么复杂的事都拟合不了。这就是神经网络原理最朴素的版本其余都是加层数和换 σ。多层一叠就是接力赛上一层的输出 a 变成下一层的输入每层多剥一层抽象。图注每一层都只是一个 σ(b Wx)。深度学习里的深说穿了就是这套动作重复的次数。所以呢你要补的第一块数学就是会读矩阵乘法 Wx。仓库里 HW1 的第一个 notebook 会让你亲手写这行代码写得出来就入门一半了。 训练时怎么调梯度下降与反向传播一套训练就两步先看 loss损失函数衡量模型偏了多远再朝 loss 变小的方向挪一小步。梯度下降给出挪动规则W ← W - η · ∇_W Lossη 是学习率每步迈多大∇ 是梯度loss 下降最快的方向。η 大了看着收敛快也容易一脚迈过头摔到更差的位置。真正唬人的只有反向传播四个字。说白了它就像算账loss 是总账反向传播就是从最后一笔往前核算出每一层的 W 和 b 各背了多少锅。它只是链式法则反过来用而已。图注这是 HW1 里两条 loss 曲线。曲线一路走低、最后压平就是收敛了长什么样。所以呢你要补的第二块数学是偏导数和链式法则。不用会推导记住一句话就够梯度告诉你往哪迈学习率决定迈多远。曲线往下走说明你做对了。 怎么防止翻车用正则化压住过拟合最常见的翻车长这样训练集 99 分测试集 60 分。模型把题全背下来了一换题就露馅这叫过拟合。最朴素的解法给参数太大这件事收一笔罚款loss 变成Loss λ · Σθ²λ 是罚款力度管得多严。λ 大参数被摁得老实模型学得保守λ 小它又放开了。罚款轻重就是这两头的平衡。图注红线是 loss黄线是 λ两条线此消彼长正是拟合与罚款互相拉扯的过程——罚款不能没有也不能罚到没法学。所以呢测试分数上不去时先问一句是不是过拟合。先缩模型再试加正则项。这条罚款轻重的平衡线在 HW1 到 HW2 的每个 notebook 里都藏着一遍。动手清单读完别只点头照着做这五件事路径都是仓库里真实存在的顺序做什么去哪儿做1没开过 notebook 的先熟悉打开方式Homework/Warmup/2跑通一个最小回归逐行读前向传播代码Homework/HW1_Regression/HW1_Regression.ipynb3改学习率盯住 loss 曲线怎么变Homework/HW1_Regression/HW1_Regression.ipynb4完成第一个分类对比训练 loss 和测试 lossHomework/HW2_Classification/HW2_Classification.ipynb5试一把卷积看看卷积核到底在算什么Homework/HW3_CNN/HW3_CNN.ipynb现在就去打开 HW1 文件夹跑通回归 notebook把前向传播那几行代码逐行读懂。第一条 loss 曲线往下掉的那一刻你就知道这些数学开始干活了。【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
