做技术这么多年见过太多人一上来就“调框架、跑模型”问起底层原理却是一问三不知。我自己带过不少团队也面试过很多人一个残酷的现实是绝大多数能跑通模型的工程师和真正能设计出模型、解决实际问题的工程师之间隔着一道巨大的鸿沟。这也是我为什么一直坚持“ai-engineering-from-scratch”这个信条——你不需要记住每一行公式的推导但你必须要知道手里的工具为什么是这样设计的它解决了什么问题又隐藏了什么代价。这个项目讲的就是这么一件事不借助任何高级封装的AI框架从最底层的数学原理和算法逻辑出发把人工智能的“脚手架”一块一块亲手搭起来。它不是什么玄学也没有门槛高到让人望而生畏的复杂度它更像是一个“说明书”带你理解机器学习和深度学习最本质的运行规律。适合那些已经会用TensorFlow或PyTorch跑例子但心里总觉得不踏实的人也适合刚入行、想直接建立正确技术骨架的初学者。说白了就是想让你把AI从“黑盒”变成“白盒”。我踩过的坑你没必要再踩一遍。下面我就把这套“从零开始”的工程实践思路从头到尾拆开讲清楚。1. 动手之前为什么要把“从零开始”坚持到底1.1 别让你的模型成为“别人的玩具”很多人会问既然PyTorch、TensorFlow这么成熟一行代码就能调用几十层卷积网络为什么还要自己从零写我的回答通常是一个反问当你把代码从“模板”换成“自己的想法”的时候你能改哪里如果只能改改learning rate和batch size那你其实不是在训练一个模型而是在“玩”一个模型。从零开始AI工程本质上建立的是“设计权”和“干预权”。比如梯度下降用框架的时候你只调一行optimizer.step()。但如果你亲手实现过反向传播你会知道梯度在这里是怎样流动的会知道学习率为什么设0.01能收敛设0.5就会发散。这种理解在遇到实际到处是坑的数据时能帮你在几分钟内定位问题。框架的选择从来不是问题问题是你没得选。另外从零开始还有一个特别实际的价值你能看清“代价”。每一种设计从损失函数到网络结构都是一种取舍。比如你用交叉熵那就是在假设预测分布和目标分布要尽量对齐你用均方误差就是默认误差的惩罚呈二次增长。这种“取舍感”只有自己亲手写出来才能体会用别人的封装你是永远感觉不到的。1.2 到底要“从零”到什么程度这个项目里说的“from-scratch”不是让你从晶体管开始设计CPU也不是让你拿纸笔推一遍所有论文的公式。而是指核心的算法逻辑、数据管道、模型结构、训练循环都要自己写。Python可以用NumPy也可以用但深度学习框架那一层至少要亲手替换掉一次。我给自己定过两条规则觉得对所有人都有参考价值规则一不允许在项目的前半段引入任何自动微分工具。梯度必须自己推导、自己实现哪怕简化为二维参数。规则二在把模型跑通一个完整案例之前禁止调用高层API。Keras那种直接Sequential往里面堆层的写法在这里统统不合法。你得让每个张量的形状变化都在自己的掌控之中。这两条规则的意义在于强迫你直面AI工程里最核心的基本功数学推导、代码组织和数据结构。你不一定需要像数学系学生一样精通所有证明但对关键公式要有直觉对每一步代码为什么要这么写要了然于心。2. 核心技能拆解从数学基础到工程实现2.1 你真正需要的数学并没有那么恐怖“从零开始”这四个字把很多人吓退第一反应就是数学太差。说实话做AI工程不需要你证明黎曼猜想但你确实需要几个领域的“工作知识”——不用会证明但要知道怎么用。线性代数是母语。矩阵乘法、转置、逆矩阵、特征值这三个概念几乎贯穿所有模型。特别是矩阵乘法你要能不看文档说出一个(batch, seq_len, hidden_dim)的张量和一个(hidden_dim, vocab_size)的矩阵相乘得到什么形状这是最最基础的功夫。微积分是方向盘。梯度就是偏导数组成的向量整个机器学习最核心的“学习”过程就是沿着梯度的反方向调整参数。你不需要能手算复杂复合函数的导数但链式法则你一定要能默写出来它就是反向传播的数学基础。概率论是世界观。你训练一个分类模型本质上是在估计一个条件概率分布P(y|x)你看到损失函数在下降本质上是通过极大似然估计让模型越来越像真实的分布。有了这层理解你会自动明白为什么很多分类任务用交叉熵而不是别的损失函数。这些数学知识到底要用多深我的经验是线性代数要熟练到条件反射微积分至少理解链式法则和偏导数的几何意义概率统计理解最大似然和贝叶斯公式的基本框架。这不是研究生考试不需要钻牛角尖关键是“用的时候能想起来”。2.2 编程基础决定你能走多远数学让你懂原理编程让你把原理变成能跑的东西。从零开始AI工程对代码能力的要求比纯调参高得多。你会不断和以下几个东西打交道数组和形状管理。这是最容易出错也最考察功底的地方。一个(4, 3, 2)的张量广播机制是怎么作用的np.einsum怎么替代一堆循环如果你对这类问题没感觉建议先花三天时间集中刷NumPy的数组操作好过以后在调试上花三天。从“for循环思维”过渡到“向量化思维”。初学者写梯度下降总喜欢一层层for循环其实效率极低且代码臃肿。向量化不仅让代码简洁而且几乎强制你更深刻地理解矩阵运算的含义。从零开始的路上要尽早把“循环”换成“矩阵操作”来思考。工程上的模块化设计。模型、损失函数、优化器、数据加载器、训练循环这五块从一开始就分开写。我自己见过很多人把所有逻辑揉在一个脚本里最后调一个参数要找半天。模块化不是为了好看是为了让你能快速验证不同组件的行为这在调试复杂模型时是救命级的优势。很多程序员担心自己的编程水平不够。我觉得这个担心是多余的只要你写过一段时间Python有过基本的数据结构概念靠着“从零开始”这种逐步练习的节奏很快就能进入状态。关键是别一开始就想着写一个完整的Transformer要循序渐进。2.3 从零开始的三重境界在实操之前先明确一下你的目标路径。我认为“从零开始AI工程”这事可以分为三重境界每一重都对应不同的深度。第一重能复现经典模型。比如自己能写一个两层的全连接神经网络在MNIST上用手写数字识别跑通验证。这时候你需要自己实现前向传播、反向传播和梯度更新这就是最硬核的初步体验。第二重能解释模型为何有效。当你能解释“为什么ReLU比Sigmoid收敛快”“为什么残差连接能解决深层网络退化”这些经典问题时你就已经超过了百分之七八十只会调框架的工程师。这些答案全部来源于对模型内部逻辑的亲手实践。第三重能在原理解上创新。这时候你会发现开发一个新模型没那么神秘不过是在已有理论框架上做合理的结构调整。一个能“从零搭建”过完整训练链路的人在遇到新的paper时往往能更快抓住核心创新点因为他知道“改动其实发生在哪一层”。这三重境界不是割裂的它们更像是一个连续的过程。我的经验是绝大多数踏实走完第一重的人会在第二重上获得巨大的信心跃迁从此看模型的角度完全不一样。3. 实操路线图从零到一搭建你自己的AI核心3.1 阶段一手写线性回归建立完备的“小闭环”我建议所有人从线性回归开始而不是直接上神经网络。不是因为线性回归简单而是因为它麻雀虽小、五脏俱全能帮你建立一个完整的AI工程闭环。第一步准备数据。造一个带噪声的合成数据集比如y 3x_1 2x_2 5 noise。这样你知道真实的权重是什么后面验证起来心里有底。第二步定义模型。简单一句话prediction X.dot(weight) bias。不要用任何框架的Linear层就自己写这个矩阵乘法和加法。第三步定义损失函数。用均方误差MSE mean((prediction - target) ** 2)这个函数一定要自己写写一遍你才能体会“误差”到底在哪个维度上计算。第四步实现梯度下降。这是最关键的一步。你要手动求导得到梯度公式d_weight 2 / n * X.T.dot(prediction - target)d_bias 2 / n * np.sum(prediction - target)然后更新参数weight - learning_rate * d_weight。第五步封装训练循环。一个for epoch in range(epochs)循环反复“前向计算-计算损失-反向求梯度-更新参数”。在循环里每100轮打印一次损失观察损失下降曲线。这一个小闭环做完你对AI工程基本盘的掌握就成型了。过程中你会体会到什么你会亲眼看到一个随机的初始权重怎么一点点逼近你造数据时设的真实值。这种“掌握因果”的快感是直接调用sklearn.linear_model.LinearRegression完全感受不到的。3.2 阶段二实现一个完整的神经网络并手动推导反向传播线性回归本质上是一个没有隐藏层的“单细胞模型”。真正让你觉得AI有生命力的是加一层隐藏层、引入非线性激活函数之后。这阶段的建议是实现一个单隐层的神经网络解决二分类问题。网络结构建议输入层 - 全连接层14个神经元ReLU - 全连接层1个神经元Sigmoid - 二分类交叉熵损失。这里的核心难点是反向传播也是最容易劝退人的地方。我给你提供一个思路别急着去抄公式而是按下面几个步骤推导写计算图。把前向传播的每一行代码写出来然后用箭头反向画一遍标出每一层的输入输出。前向是正向传播数据反向是反向传播梯度两者一一对应。对输出层求梯度。假设用的是Sigmoid和交叉熵巧妙的数学性质会出现d_loss / d_z正好等于prediction - target。这个简洁结论你应该亲自推导一遍然后会惊叹自然选择数学之美。向隐藏层传递梯度。这一层用链式法则grad_hidden grad_output.dot(W2.T) * relu_derivative(hidden_output)这一步要理解梯度的形状永远和变量的形状一致。变量是(batch, hidden_dim)梯度也必须是(batch, hidden_dim)这是检查代码bug的绝佳判断标准。更新参数。把梯度除以batch size如果用的是批量训练再乘上学习率更新权重和偏移。当你完成了这一步你会发现自己发生了质变你看框架文档时的眼神都不一样了因为你已经知道loss.backward()背后到底发生了什么。3.3 阶段三构建属于你自己的数据处理与训练流水线模型代码写好了真正迈向合格AI工程师的另一个关键是把散装的代码整合成一套可复用、可调试的训练流水线。很多从零起步的人模型做得不错但一碰到“真实数据”就翻车往往就是因为数据管道和训练循环纠缠不清。我的建议是你必须把以下五个组件彻底解耦组件核心职责常见误区数据加载器负责读取、预处理、分批把数据清洗逻辑写在训练循环里模型定义负责输入到输出的映射把dropout、batchnorm全塞进模型难调试损失函数负责度量模型输出与目标的差距不理解损失函数的数值范围优化器负责根据梯度更新参数全局共用一个学习率不做任何调整训练循环串联以上组件并管理epoch、日志不打印损失、不保存中间模型就数据加载来说我要多啰嗦几句。建议你实现一个简单的DataLoader类至少支持__len__和__getitem__并生成按批次迭代的Iterator。这样做的第一个好处是内存友好第二个好处是逻辑清爽——训练代码只需要面对for batch_x, batch_y in loader而不需要操心切片、洗牌和归一化的细节。训练循环则建议加入三样东西验证集评估、模型checkpoint保存、早停early stopping。很多初学者只盯着训练集损失觉得下降了就行结果模型泛化一塌糊涂。如果你在训练循环里天然加入了验证集评估你发现的就不是“为什么测试集效果差”而是能亲眼看到模型从“欠拟合”到“过拟合”的整个过程。3.4 阶段四从“手工实现”平稳过渡到“框架使用”很多人以为“从零开始”就永远不用框架这是误解。更好的说法是你已经知道了自己造的车每个零件是什么现在换上一辆专业技能更强的赛车才知道它的优势在哪里。过渡的合适时机是你的手工神经网络已经能在至少两个数据集上顺利跑通你已经能独立排查反向传播中的维度不匹配错误并且理解学习率、正则化、激活函数这些基础概念的实际意义。这时你再打开PyTorch或TensorFlow你的学习方式会和别人完全不同。你不用再看教程教你怎么定义Linear层你只需要验证自己心中已有的模型结构用框架的API去对应你手工代码里的每一个模块。你会觉得框架里的东西都是“老朋友”——只是它们帮您把梯度计算和GPU并行处理优化到了极致。我的个人建议过渡时先不要直接用nn.Sequential堆层。而是用一个类来定义模型在__init__里声明每一层在forward中显式实现前向传播。这样你仍然保留着对数据流的完全掌控同时享受框架带来的自动微分和分布式训练能力。4. 现场实录一个从零搭建的二分类模型全流程4.1 问题定义与数据准备理论说再多不如直接跑一个项目。我选一个经典任务基于两个特征判断一个点是否位于圆环内部。这类“模拟数据”的好处是你可以控制信号强度、噪声水平甚至可视化决策边界非常适合从零开始验证你的模型是否正确。我直接给出数据生成的参考代码import numpy as np import matplotlib.pyplot as plt np.random.seed(42) n_samples 2000 X np.random.uniform(-3, 3, size(n_samples, 2)) # 生成圆环半径在0.8到1.2之间的点为正样本 radius np.sqrt(X[:, 0]**2 X[:, 1]**2) y ((radius 0.8) (radius 1.2)).astype(int) y y.reshape(-1, 1) # 划分训练集和验证集 indices np.random.permutation(n_samples) train_idx, val_idx indices[:1500], indices[1500:] X_train, y_train X[train_idx], y[train_idx] X_val, y_val X[val_idx], y[val_idx]这是一个非线性可分的任务线性模型搞不定正好让我们的神经网络展示威力。记住先画出数据的散点图你会看到“甜甜圈”形状。很多人跳过了“可视化数据”这一步结果是结构都搞错了还在哪里调参数纯属浪费时间。4.2 网络结构、初始化与前向传播我们定义一个最精简但完整体现“从零”精神的网络第一层4个神经元用Tanh激活第二层1个神经元用Sigmoid输出。为什么用Tanh而不是ReLU在小网络上Tanh会有更好的梯度平滑性而且输出范围(-1, 1)和零中心化特性会让我们这个二分类任务的决策边界更稳定。这也是体会“激活函数选择”的好机会。参数初始化上我直接用标准差为0.1的随机正态分布。要不要用Xavier初始化在这个小规模问题上不是决定性因素但你可能会有体会初始化范围过大Sigmoid会饱和梯度过小几乎学不动。这个小坑建议你自己试一遍试了才知道为什么要控制初始化的尺度。用代码表示为def initialize_parameters(input_dim, hidden_dim, output_dim): np.random.seed(42) W1 np.random.randn(input_dim, hidden_dim) * 0.1 b1 np.zeros((1, hidden_dim)) W2 np.random.randn(hidden_dim, output_dim) * 0.1 b2 np.zeros((1, output_dim)) return W1, b1, W2, b2 def tanh(x): return np.tanh(x) def tanh_derivative(x): return 1 - np.tanh(x) ** 2 def sigmoid(x): return 1 / (1 np.exp(-x)) def forward(X, W1, b1, W2, b2): z1 X.dot(W1) b1 a1 tanh(z1) z2 a1.dot(W2) b2 a2 sigmoid(z2) return z1, a1, z2, a2前向传播的封装需要返回中间变量这些值在反向传播时会被用到。这里没有自动微分所有中间结果都要手工保留。这是你理解“每个张量在内部怎么流动”的关键也是很多新手最容易断掉的一环。4.3 损失计算与反向传播二分类任务的损失函数用交叉熵。公式不复杂但数值上要注意稳定问题。这里我提供一个对数值稳定性友好的写法def compute_loss(y_true, y_pred): # 使用eps防止log(0)让梯度变为无穷 eps 1e-12 y_pred np.clip(y_pred, eps, 1 - eps) loss -np.mean(y_true * np.log(y_pred) (1 - y_true) * np.log(1 - y_pred)) return loss反向传播的推导我拆成以下三个层次。输出层梯度是最简单的因为交叉熵和Sigmoid在一起时有一个极好的简化公式dz2 a2 - y_true。这一步如果你自己推过一遍你会记住一辈子。隐藏层梯度则需要用矩阵右乘W2的转置配合Tanh导数的逐元素乘积def backward(X, y_true, z1, a1, z2, a2, W2): m X.shape[0] dz2 a2 - y_true dW2 a1.T.dot(dz2) / m db2 np.sum(dz2, axis0, keepdimsTrue) / m dz1 dz2.dot(W2.T) * tanh_derivative(z1) dW1 X.T.dot(dz1) / m db1 np.sum(dz1, axis0, keepdimsTrue) / m return dW1, db1, dW2, db2这里最直观的校验方法就是形状校验dW1的形状必须和W1完全一样db1必须和b1一样。任何一步不匹配一律停下来查错。不是先去改学习率而是先把每一层的梯度和对应参数对齐。4.4 训练循环与决策边界可视化训练循环使用批量梯度下降学习率先设为0.5训练2000轮。这里很多人会问为什么用批量梯度下降而不是小批量因为数据量只有1500条批量梯度下降计算出的梯度方向更稳定可视化损失曲线也更平滑适合调试。等上了大数据集再换小批量SGD不迟。def train(X_train, y_train, X_val, y_val, hidden_dim4, epochs2000, lr0.5): input_dim X_train.shape[1] W1, b1, W2, b2 initialize_parameters(input_dim, hidden_dim, 1) train_losses, val_losses [], [] for epoch in range(epochs): z1, a1, z2, a2 forward(X_train, W1, b1, W2, b2) loss compute_loss(y_train, a2) dW1, db1, dW2, db2 backward(X_train, y_train, z1, a1, z2, a2, W2) W1 - lr * dW1 b1 - lr * db1 W2 - lr * dW2 b2 - lr * db2 val_z1, val_a1, val_z2, val_a2 forward(X_val, W1, b1, W2, b2) val_loss compute_loss(y_val, val_a2) if epoch % 200 0: train_acc ((a2 0.5).astype(int) y_train).mean() val_acc ((val_a2 0.5).astype(int) y_val).mean() print(fEpoch {epoch:4d} | train loss {loss:.4f} | val loss {val_loss:.4f} | train acc {train_acc:.3f} | val acc {val_acc:.3f}) return W1, b1, W2, b2, train_losses, val_losses训练结束后我用验证集准确率来评判模型。如果你正确实现了上述代码一个只有4个隐藏神经元的小网络在这个圆环任务上的验证准确率至少能达到90%以上大概在92%-95%之间。这已经足够说明你的模型真正学到了非线性边界而不是死记硬背训练样本。紧接着我们画出决策边界这一步强烈建议不要跳过。方法是在特征空间画一个细密网格让模型对每个网格点做预测然后用contourf填充颜色区域。看到我们的模型画出了一条接近“圆环”的决策边界时那种成就感是别的项目给不了的。整个过程的体验就是从参数随机的一团乱麻到一个清晰的具有泛化能力的分类器。5. 常见问题与排查技巧实录5.1 损失不降反升怎么办这是从零实现时最常遇到的第一道坎我自己刚开始做时也在这里卡了两天。先说结论先检查学习率再看数据是否归一化最后看梯度计算是否写错。学习率过大的典型表现损失在初期急剧下降到某个点接着剧烈震荡甚至变成NaN。你把学习率调小100倍试试比如从0.1改成0.001通常就好转了。数据未归一化的表现损失平稳但极慢下降好像在爬一个很陡的坡。如果把特征缩放StandardScaler你会发现优化路径一下子平坦了很多。从零实现时很多人忽略数据缩放这是基础中的基础。梯度写错的表现损失完全不降或者下降几个epoch后开始回升。此时你要回到“数值梯度校验”。用微积分定义取一个极小的epsilon比如1e-7计算(loss(theta eps) - loss(theta - eps)) / (2 * eps)再和你手写的解析梯度做对比。如果两个值相差超过1e-4说明你的反向传播写错了。这个小技巧几乎能定位所有梯度层面的问题。5.2 反向传播维度不匹配维度不匹配几乎是每个从零写反向传播的人必须经历的噩梦。这里分享一个我多年调试出来的规律“一维数组别乱混用矩阵形状错了就停下来看广播机制”。举个最常见的例子偏置b的形状究竟是(hidden_dim,)还是(1, hidden_dim)前向传播时X.dot(W1) b1对一维数组的广播会隐式地给你加上维度但反向时np.sum(dz1, axis0)返回的是一维形状这样dW1的形状可能没问题但更新参数时隐式广播随时可能出错。我的习惯是从初始化开始就保证所有偏置都是(1, dim)形状所有梯度保持完全一致的形状。还有一个检查技巧就是在每两层之间打印张量的形状确认一个(batch, input_dim)的数据经过全连接层后变成(batch, hidden_dim)再经过输出层变成(batch, 1)。这个流程如果能在每层都保持形状可解释整个反向传播的正确性就有了80%的保障。5.3 训练很好验证集却一塌糊涂这个问题的本质是过拟合但从零开始的人往往也更容易踩到属于“自己砸自己脚”的坑。最常见的错误是数据预处理不一致你在训练集上做了归一化但在验证集或测试集上却用了不同的归一化方式。这实际上不是模型的问题而是数据管道的漏洞。正确的做法是对训练集计算均值和方差然后在验证集、测试集上使用训练集的均值和方差进行相同的变换。在图像任务上容易理解本质上是一模一样的原则你不能让模型看到了一组“数值定义”完全不同的输入。如果你确定预处理没有错那就是正则化不足的问题。增加L2正则化是最简单的选择直接在损失函数上加上所有权重的平方和乘一个系数。实际操作中我建议从1e-4开始尝试然后记录验证集损失的变化。模型真的效果不好时优先检查“特征和标签是否有泄露”比如不小心把标签本身当成特征这是另一个隐蔽的高频错误。5.4 从零做AI时的心态管理和时间分配这个部分虽然没有代码但我认为它可能是整个项目里最值钱的建议。从零开始AI工程真正考验的不是智力而是持续调试的耐心。首先不要渴望一次写对所有代码。你一定会遇到矩阵乘积维度不匹配、忘记除以样本数、初始化复用同一个随机种子导致训练集和验证集特征分布完全一样等问题。这些都是走向真正理解的必经之路。把出错当成学习的一部分每次报错都值得花时间看明白报错信息到底在说什么而不是粗暴地加try except压过去。其次每个环节都要独立验证。不要在没确认前向传播输出形状合理的情况下就去写反向传播。每写一段新代码之前先用极小的随机数据做一个配置文件看输出形状对不对数值范围合理不合理。一次只改一个变量这是所有从零开始项目的铁律。而在时间分配上我的建议是60%的时间花在调试模型为什么没有学习上30%的时间花在理解数据和特征上只有10%的时间留给你去调超参数。很多新手把90%的时间花在搜索“最佳学习率”上这是本末倒置的。学习率折腾来折腾去不如先看看是不是数据管道的某个环节把标签打乱了。6. 下一步还能做什么从“能跑”到“会造”当你亲手走通上面的流程你会发现眼前的路一下子打开了。我身边很多带过的新人以及我自己刚度过这个节点时的共同感受是不再是“框架用什么我学什么”而是“我要实现什么框架帮我搞定什么”。一个比较自然的下一步是去实现一个简单但完整的卷积神经网络。你完全可以照着从零的思路去手写卷积运算和最大池化的反向传播。卷积核本质上就是一个可学习的滤波器反向传播比全连接网络复杂一些但有了前面的基础不过就是多引入一个“张量形状变化”的维度。你可以看看它在MNIST或者CIFAR-10上的表现你会彻底弄懂CNN最核心的两个特性局部连接和参数共享。另一个值得挑战的方向是尝试实现一个最简版的Transformer的注意力机制。你不需要写出一个能跑大模型的系统但至少可以自己算一下Q、K、V矩阵怎么从输入变换出来softmax(QK^T / sqrt(d_k))的形状变化是什么以及注意力权重到底在做一件什么事情。手写一遍之后再去看任何一个开源的大模型代码库你都会觉得眼前一片清明。关键是你现在有了“倒推”能力。拿到别人的模型代码再也不怕了——你能像拆积木一样把它拆开看懂每一个模块的职责然后在你需要的地方修改它。你再也不是那个只会改参数的人。我个人特别享受这个过程里“突然想明白了”的瞬间。比如有一天你在看某篇论文的时候忽然意识到他加的某个模块本质上只是为了缓解一个你亲手调试时踩过的“反向传播崩溃”问题那种穿越时空般的理解值得你所有的付出。既然你已经决定把AI工程玩明白就从动手写第一个矩阵开始吧。
