神经网络学习笔记指南用 nn-zero-to-hero 亲手实现反向传播与语言模型【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-heronn-zero-to-hero是 Neural Networks: Zero to Hero 视频课程的配套笔记本仓库每一讲都是一个 Jupyter Notebook跟着视频从零手写代码先实现支持反向传播的微型自动求导库micrograd再逐级搭出字符级语言模型makemore最终指向 GPT 的完整构建。它适合会基础 Python、希望搞懂神经网络训练与调试底层机制的学习者。仓库里有什么一个 README 加两个笔记本目录整个仓库非常精简核心内容就是 README.md 里的课程索引和lectures/下的代码lectures/micrograd/两半课对应的 notebook讲解标量计算图与反向传播的推导lectures/makemore/五个递进文件从 bigram 模型、MLP、批归一化BatchNorm、手动反向传播到类 WaveNet 的卷积网络。README 中的 Lecture 7从零构建 GPT和 Lecture 8GPT Tokenizer目前在仓库内没有对应 notebook需要配合视频中的外部练习链接使用本地可运行的是前六讲。两条主线先拆反向传播再建语言模型课程的组织逻辑是先懂原理再做工程。micrograd 系列只依赖 Python用上百行代码搭一个标量级的自动求导系统目标是把梯度是怎么传回来的讲透前置要求只有基础 Python 和高中学过的微积分概念。makemore 系列则是一条完整的模型迭代线bigrampart1最简单的二元字符统计模型同时引入torch.Tensor与语言模型的训练、采样、loss 评估框架MLPpart2换成多层感知机顺带覆盖学习率调参、过拟合、训练/验证/测试集划分等机器学习基本功BatchNormpart3检查前向激活与反向梯度的统计量用诊断可视化定位训练不稳定的原因手动反向传播part4不用loss.backward()对交叉熵、线性层、tanh、BatchNorm、embedding 逐层手推梯度在张量层面理解梯度流动CNNpart5把两层 MLP 加深为树状结构得到类似 DeepMind WaveNet 的卷积架构体会torch.nn的实际工作方式。环境准备装好 PyTorch 与 Jupyter 即可仓库里没有安装脚本环境很简单Python 3 PyTorch Jupyter。克隆后执行git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-heropip install torch jupyter之后在lectures/micrograd/目录打开第一个 notebook 运行即可。micrograd 不依赖任何第三方库是验证环境最快的入口makemore 各节则依赖 PyTorch建议按文件名顺序推进因为 part2 之后的代码建立在前面文件的变量与函数之上。三个自检点loss 日志告诉你会不会判断自己是否真的跑通了可以看 notebook 里留存的调试记录part3 的 loss log原始 MLP 训练 loss 约 2.12修复 softmax 初始化、换用 Kaiming 初始化、引入 BatchNorm 后逐步降到 2.06 左右——这组数字就是诊断工具如何指导调参的实例part4 是明确设计成动手优先的练习作者建议在 Colab 上先自己做卡住再暂停视频看答案只看不练收益很小part5 的 performance log 记录了参数扩展的效果从 12K 参数验证 loss 2.105扩到 76K 参数验证 loss 1.993能直观感受模型容量与泛化的关系。如果某一步的 loss 明显高于这些参考值优先检查数据切分与学习率而不是怀疑框架。学完这两条线之后的下一步仓库本身停在 makemore part5README 标注 Ongoing意味着后续讲座会持续补充。合理的延伸路线是按 README 顺序补看 Lecture 7 与 8 的视频把 makemore 中积累的自回归语言建模经验迁移到 GPT 与分词器上。现在就可以做的具体动作克隆仓库打开 lectures/micrograd/micrograd_lecture_first_half_roughly.ipynb把第一个计算图的求导部分逐单元格跑通。项目采用 MIT 协议见 LICENSE代码可以任意改写练习。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
