1. 为什么想写这样一份不完美的AI学习笔记AI入门这四个字我盯着看了很久才决定动笔。不是因为它多深奥而是因为我发现自己学了很多轮依然不敢说自己入门了。从最初觉得机器学习很玄到终于理解神经网络只是一套参数优化办法再到如今每天都在跟生成式AI打交道整个过程里我走弯路的时间远比顺利推进的时间多。所以这篇文章不是一份标准的教科书式教程而更像是我中途停下来整理的一份真实学习笔记——里面有当时的理解、后来发现不对又重新修正的理解也有大量踩坑记录。我会按照自己的学习路线来写从机器学习的基本概念讲起到神经网络的运作逻辑再过渡到生成式AI是怎么一回事最后给出一套能直接跑通的小项目实操路径。每一节都会穿插我当时是怎么理解错的、后来又是怎么纠正过来的。如果你属于下面三类人它应该对你有用完全零基础、被各种AI名词砸晕的人有一点编程背景、但概念模糊不清的程序员以及已经用过生成式AI工具、但不知道背后运作原理的好奇者。至于不完美是因为我深知自己的理解还很浅但正因为不完美这份笔记才比精致教程更贴近普通人的真实学习轨迹。1.1 这份笔记适合谁先说清楚一件事这不是给要发论文的人看的也不是给全职算法工程师看的。这份笔记的目标读者是那些想搞明白AI到底是怎么工作、但又不打算一头扎进数学公式里的人。我默认你会一点Python知道变量和函数是什么但完全不要求你懂矩阵求导也不要求你有深度学习框架的使用经验。如果你已经能熟练训练模型那这篇文章的前半部分对你可能太基础但后半部分关于生成式AI的直觉解释和实操记录或许还能给你提供一些新的角度。我在实际过程中发现很多搞过传统机器学习的人转过来理解生成式AI的时候也有一点卡壳因为两者解决问题的思路不一样了。1.2 我理解的入门是什么我给自己确立的入门标准是能用自己的话解释每个核心概念背后的直觉而不是只会背名词解释能独立跑通一个完整的小项目而不是只会复制教程代码遇到报错时知道大概是什么环节出了问题而不是完全不区分解不了和不会查。按这个标准回头看我花了很长时间才勉强算是入了门。因为我一开始走了很多弯路比如上来就啃几十页的数学推导结果被劝退比如照着别人的项目教程敲了一遍代码跑出来结果很好但换个数据集就完全不会动了。后来我总结出一个规律学习AI最有效的路径不是从数学原理出发而是从一个能跑起来的简单程序出发先建立直观感受再倒回去补原理。这篇文章的编排也遵循了这个思路。2. 机器学习从教规则到找规律我第一次接触机器学习这个概念时把它理解成了一门规则库科学你告诉电脑一堆如果……那么……的规则然后电脑乖乖按规则执行。后来我才明白机器学习做的恰恰相反——它不依赖人来写规则而是从大量数据里自己找规律。举个最简单的例子。你想预测一个城市的房租价格能拿到的数据是几千条历史记录每条记录包含面积、卧室数量、所在楼层、建成年代以及最终成交价。传统编程的做法是你根据经验写一个公式比如每平米300元、每多一间卧室加500元然后用这个公式去算。但这个公式准确率大概率不行因为影响房价的因素远比你能想到的规则复杂。机器学习的做法完全不同。它把这几千条记录分成两部分一部分用来训练模型一部分用来考试。训练时模型内部有一堆待调整的数字参数它不断尝试不同的参数组合让预测出来的房价尽可能接近真实成交价。整个过程没有人告诉它面积重要还是楼层重要它自己从数据中学到了这些权重。2.1 监督学习的三要素所有监督学习问题都能抽象成三个要素数据、模型、目标函数。数据很好理解就是一堆输入和正确输出的配对。在房价预测里输入是面积、卧室数这些特征输出是成交价。模型是一个尚未确定的函数它接收输入后给出预测一开始预测得很烂。目标函数告诉模型你烂到什么程度通常叫损失函数——预测价和真实价差距越大损失值越大。训练过程本质上就是不断调整模型参数让损失值越来越小。我当时一直没想明白的问题是模型凭什么知道自己该往哪个方向调整后来我用一个更具体的公式想通了。以最简单的一元线性回归为例假设预测函数是 y wx bw和b就是模型要学的那两个数字。损失函数取平均平方误差那么给定一组数据后这个误差就是w和b的二次函数。梯度下降做的事情就是站在当前w和b的位置看一下误差曲面哪个方向是下坡然后沿下坡跨一步重复几千次直到落进谷底。听起来简单但真实世界的模型参数动辄几亿个误差曲面也不是平滑的碗状而是凹凸不平的山地。这导致梯度下降经常会掉进某个局部坑里出不来或者迈步太大直接跳过好区域。后面我会讲到这些在实际操作中都会以报错、不收敛、效果差等形式出现都需要学习怎么对付。2.2 无监督、强化学习及其各自擅长的场景监督学习是大多数入门者接触的第一类机器学习但它不是全部。我学机器学习时最大的认知突破之一是意识到不同任务需要不同的学习范式。无监督学习的特点是数据没有正确答案。比如你手里有某电商平台的用户购买记录你想知道用户大致分成几类。没有标签的情况下模型只能根据数据本身的结构做聚类买母婴用品多的是一类买电子产品多的是另一类。聚类算法做的事情就是自动把数据分组至于每个组叫什么名字那是人后来根据自己的业务去定义的。推荐系统里经常用到的协同过滤本质上也是无监督思路——通过大量用户的购买行为找到物品之间的相似关系。强化学习和前两者不太一样。它没有现成的数据集而是让一个Agent智能体在环境里反复试错通过奖励信号学会策略。我曾经拿教一只狗坐下来做类比狗做了正确动作就给它零食做了错误动作就不给慢慢它就懂了。AlphaGo下围棋就是强化学习的杰作——没有任何人告诉它某一步棋有多好它就靠赢了加分、输了减分这种机制自己下出了超越人类经验的棋路。但我在入门阶段最需要记住的还是监督学习。原因很简单整个深度学习时代尤其是生成式AI这条技术路线的基础模型训练本质上大都可以归结为从海量配对数据中学会映射关系。哪怕是最新的大语言模型其预训练阶段的核心目标也是预测文本序列中的下一个词——这可以看成一种特殊的监督学习。2.3 把一个错误直觉修正为正确直觉这里我想专门记录一下自己最典型的认知偏差因为它可能代表了很多刚接触机器学习的人的状态。我一开始天真地以为模型训练好之后就能像人一样理解数据能举一反三。后来我拿一段代码做了一个小实验训练一个房价预测模型然后把面积这一列的数字全都乘以10让我惊讶的是模型预测结果的准确率基本不变。因为线性模型能自动适应特征缩放只要权重跟着调整就行。真正破坏模型效果的是训练集和测试集分布不一致。比如训练数据里全是市区小户型测试集里却全是郊区大户型那么模型的泛化能力会立刻被打回原形。这个实验让我明白了一件事所谓机器学习学到的是一个函数映射而不是人类式的理解。它能把训练分布内的问题解决得很好一旦遇到分布之外的情况表现就会非常不稳定。现在很多关于AI翻车的新闻很大一部分原因也是分布偏移——模型没见过那种输入它只能靠瞎猜。3. 神经网络一堆参数而不是魔法我学机器学习的时候一直绕着神经网络走总觉得那是另一门高深的学问。后来真去看了才发现神经网络并不是什么神秘的东西它就是由大量加权求和外加一个激活函数的小零件堆叠起来的复合函数。唯一的区别是层级多、参数多、数据量要求高所以叫深度学习。3.1 神经元、全连接层和参数量的直觉一个神经元干的事情可以用一句话概括把若干个输入数字分别乘上对应的权重加在一起再加上一个偏置然后过一层激活函数输出一个新数字。一堆神经元并列组合起来就叫一层一层接着一层就叫多层网络。为什么需要激活函数因为如果没有它多层线性叠加的结果还是线性函数那样不管叠多少层表达能力都跟一层一样。激活函数给网络引入了非线性让它可以拟合复杂的曲线和决策边界。最常用的ReLU函数就一句话输入大于0就输出原值小于0就输出0。简单到让人怀疑这是不是搞错了——但事实就是这样的非线性叠加足够多了理论上可以逼近任何函数这叫万能逼近定理。我第一次真正搞懂神经网络是通过一个手写数字识别问题。输入是一张28×28像素的灰度图展开就是784个数字。我搭了一个只有一层的隐藏网络输入层784个节点隐藏层128个节点输出层10个节点代表数字0到9。参数数量是多少输入层到隐藏层有784×128个权重加上128个偏置隐藏层到输出层有128×10个权重加上10个偏置。加起来大约是10万个参数。这在小模型里算很少的了但就是这种规模的小网络处理简单的数字识别已经绰绰有余。我当时在笔记里写了一句话所谓神经网络就是给10万个参数调一个最合适的值。虽然不够严谨但方向是对的。后续那些动辄千亿参数的大模型本质上也还是在做同样的事只是参数规模和数据规模把模型推到了我们意想不到的能力边界。3.2 训练循环前向传播、反向传播和损失函数训练神经网络的循环过程可以用四步概括前向传播、计算损失、反向传播、更新参数。开始时权重是随机初始化的网络给输入一个随机输出和真实标签一对比误差很大。然后反向传播用微积分里的链式法则把误差对每一层的每一个参数求偏导也就是算出每个参数往哪个方向调能让误差减小。最后优化器拿着这些梯度把参数更新一格。重复这个循环几千几万次。给我最大震撼的是反向传播。你想一下面对几亿个参数每个参数到底对误差有多大贡献这个问题看起来几乎无解。但链式法则告诉我们损失函数对某个参数的偏导可以通过前一层和后一层的偏导乘积一路传回来计算量甚至只是正向传播的两倍左右。也就是说现代深度学习得以训练恰恰是靠大学高等数学里那个被很多人觉得没什么用的链式法则。我在理解这个过程时还用射箭做了一个类比前向传播是射出一支箭看它离靶心多远损失函数就是这套尺子反向传播是倒推刚才手臂抬高了0.5度、用力大了1成各自对偏离靶心贡献了多少梯度下降就是根据这个倒推结果下一次稍微调整姿势。射箭次数多了箭自然越来越准。3.3 我第一次训练小模型的踩坑实录这部分我想记录三个印象最深的错误。第一个坑是没有做数据归一化。我当时把像素值原本0到255的整数直接丢进网络发现训练损失下降慢得像蜗牛。后来才意识到特征数值范围差异太大会让梯度下降在参数空间里走弯路。把输入标准化到0到1附近之后整个训练过程肉眼可见地变快了。这个操作背后的原因跟损失函数曲面的等高线有关特征尺度太不均衡会导致曲面像个细长窄道梯度下降在里面来回震荡。第二个坑是选错了学习率。学习率是梯度下降每次更新参数的步长。我一开始把学习率设得太大损失曲线像过山车一样震荡有时还会直接变成NaN设得太小训练几百轮也看不出变化。后来才明白学习率往往不是定死一个值就完事而是先设一个比较大的初始值再随着训练轮数衰减或者使用带有自适应性质的优化器让它自己调整每一步的实际步长。第三个坑是我很长一段时间不知道怎么判断模型训练得好不好。我只看训练集上的损失曲线看到损失降得很低就高兴结果模型放到测试集上一塌糊涂——这就是典型的过拟合模型把训练样本的细节背下来了根本没有学到规律。后面我会专门讲这个坑。4. 生成式AI从作出判断到生成内容如果说我学神经网络时还处于理解旧事物的阶段那么生成式AI就是真正让我觉得AI世界变天的转折点。传统深度学习模型大多数是判别式的给它一张图它判断里面有没有猫给它一句评论它判断是正面还是负面。这类模型擅长的是分类和预测。而生成式模型做的是另一件完全不同的事给它一堆训练数据让它学会这些数据的分布然后它自己就能创作出新的、看起来像训练数据的样本。4.1 生成式模型到底学到了什么我花了不少时间才真正理解学习数据分布是什么意思。假如你有100万张猫的图片判别式模型的任务是新来一张图判断它是不是猫。它学到的是一个边界能区分猫和非猫。生成式模型的任务是学习猫图像的整体规律——猫有两只耳朵、有胡须、眼睛形状有特点、毛色分布有规律——然后从零开始生成一张新的猫图。这个区别可以用一个不太严谨但很形象的说法来记判别式模型学的是P(类别|输入)生成式模型学的是P(输入)。一个是在给定输入时判断输出另一个是在学习输入本身长什么样。学好了P(输入)之后要做的事情是在里面采样采出一个新样本这个样本就是模型创造出来的。生成式模型不是某一个模型的名字而是一大类模型。从早期的生成对抗网络GAN、变分自编码器VAE到后来的扩散模型都是不同的技术路线。我真正入坑是从大语言模型开始的因为它的使用门槛最低得到反馈最直接——你输入几个字它给你补完一整段话那种冲击感比看一堆图像生成示例还要强。4.2 大语言模型的写文章机制大语言模型LLM看起来无所不能能写文章、写代码、总结摘要、回答复杂问题但剥开来看它最核心的训练目标其实朴素得惊人给定前面的文本预测下一个词。就像玩填词接龙游戏——给你半句话让你猜下一个字是什么。训练阶段模型看到的是海量文本书籍、网页、代码、论文应有尽有。它挨个做这样的任务前面是今天天气真模型预测下一个词是好还是不错还是差预测对了就减少一点损失预测错了就调整参数。在这个极其简单的目标驱动下模型被迫学习语言的语法、世界的常识、推理的逻辑因为只有理解了这些才能更好地预测下一个词。要理解为什么这个机制会这么强大关键在于预测下一个词这件事实际上要求模型具备非常丰富的上下文建模能力。比如张三是李四的导师张三指导李四完成了论文这么一句话要让模型准确预测导师这个词它必须理解人物关系。当训练数据达到千亿词元、模型参数量达到千亿级别时原本为了填词而学到的各种能力涌现出来就表现为能回答问题、能翻译、能写代码等智能行为。我在笔记里写道大语言模型的本质是一个被预测下一个词逼出来的世界模型。这句话不严谨但很能帮我理解它为什么能说人话。4.3 自注意力机制的生活化解释大语言模型大多基于Transformer架构这个架构里最核心的组件是自注意力机制。我第一次看注意力公式时完全看不懂后来用读书划重点来类比才算通了。想象你在读一句话小明因为考试没考好所以心情很低落。你在理解低落这个词的时候脑子里其实会不自觉地联系这句话里的其他词小明、考试、没考好把它们的语义关系串起来。自注意力做的事情就是这个——在处理每一个词时模型会计算它跟句子中每一个词的相关程度然后加权整合起来。相关程度高的词贡献大相关程度低的词贡献小。这个相关程度是怎么算的本质上是一个点积相似度——每个词都生成两个向量一个叫查询Query一个叫键Key查询跟键的相似度决定了注意力权重。这个机制让模型在处理某个词时能看到整个句子的全局信息而不是只盯着它旁边那几个词。也正因为这样Transformer能同时捕捉到相隔很远的词之间的关系这是它比传统的循环神经网络RNN更强大的理由之一。我也顺便明白了为什么生成式AI训练那么烧钱。自注意力机制的计算量跟序列长度的平方成正比序列越长GPU计算量增长得越快。这也是为什么当前大模型都强调长上下文是一个稀缺能力——上下文变长代价是指数级的算力开销。5. 实操记录跑通一个生成式AI小项目的全过程前面讲了大量概念但真正让我觉得自己入门了的节点是我亲手跑通了第一个生成式AI小项目。这一步的意义不在于项目多高级而在于我把所有概念串成了一条完整的链路环境准备、模型下载、调用生成、参数调整、结果分析。5.1 环境准备阶段容易踩的坑我用的是Python加PyTorch这条路线。先装好Python再用pip或者conda安装PyTorch和Transformers库。整个过程只要十几分钟但这中间有好几个大坑等着你。第一个坑是GPU和CPU版本的混用问题。PyTorch是区分CUDAGPU加速版本和CPU版本的如果你电脑有NVIDIA显卡却没安装对应版本的PyTorch那么代码里虽然写着device cuda运行起来却会报错。装之前一定要先查一查你的显卡驱动支持的CUDA版本然后选对应版本的安装命令。我一开始图方便装了CPU版导致一个训练任务跑了两天才发现GPU根本没被用上。第二个坑是硬盘空间。开源的大语言模型动辄好几GB最大的是几十GB甚至上百GB。第一次下载模型时我只盯着下载进度99%看结果发现解压还需要一倍的临时空间磁盘直接满了。最好先确认目标盘剩余空间至少有模型大小的两倍再开始下载。第三个坑是别急着从零训练模型。新手最常犯的错误是想用别人的公开数据集自己从头训一个模型出来结果发现显存直接爆掉算力也不够。实际上绝大多数入门场景用预训练模型就够了——你只是做应用不是做研究。把宝贵的算力花在微调已有的开源模型上远比从零训练要实际得多。5.2 预训练模型做文本Demo的完整流程我用一个文本生成任务来做演示。目标是让模型根据我输入的开头自动续写后面的内容。实现方式极其简单。用Transformers库的pipeline封装的代码如下from transformers import pipeline generator pipeline( text-generation, model一个开源的文本生成模型, device0 ) prompt 我今天收到了一份很特别的礼物 result generator( prompt, max_new_tokens50, temperature0.7, top_p0.9 ) print(result[0][generated_text])跑起来之后模型会顺着我今天收到了一份很特别的礼物往下写生成几十个字。第一次跑通这个Demo的时候我盯着输出的那段话看了很久因为它写得居然还通顺——那一刻我才真的体会到了生成式AI这四个字的重量。如果你想做的是问答而不是续写那就换一个专门针对对话优化的模型并且按照该模型官方推荐的对话模板来组织输入。很多人直接拿生成模型问问题得到的答案乱七八糟其实大半原因是没用对输入格式而不是模型本身不行。5.3 生成参数temperature、top_p和max_new_tokens跑通Demo之后我开始调生成参数发现同样的提示词不同参数得到的输出天差地别。这里把三个最常用参数讲透。max_new_tokens控制生成的长度单位是词元而不是字。一个词元大约相当于英文里的一个常见单词片段在中文里大约是一个字到两个字。我当时想让它生成100字的短文结果设成50发现输出远比我预期的短后来才明白词元和字的换算关系。temperature控制随机性取值范围通常在0到2之间。值越低模型越倾向于选概率最大的词输出更稳定、更保守值越高模型越倾向于选概率小的词输出更丰富、更有创造性但也更容易胡言乱语。调低到0.1左右适合事实性回答调高到0.9以上适合头脑风暴、写诗这类创意任务。top_p控制候选词的范围。它跟temperature不同是对每一步可选的词做一个概率过滤把所有候选词按概率从高到低排序取概率累计到某个阈值比如0.9的词作为候选池然后只在这个池子里采样。这个机制避免了模型在大量低概率的烂词里乱选。实际经验是temperature和top_p通常会配合使用我一般习惯把top_p固定在0.9左右然后单独调temperature。6. 学习AI路上的常见问题与避坑地图如果让我只推荐一个章节给同一阶段的初学者我会推荐这一章。因为在我自己的学习过程里真正吃掉最多时间的不是概念理解而是各种莫名其妙的问题。我把这些问题整理成了一张速查表每一个都是我亲身蹚过的坑。6.1 五个让我头疼过的问题处理记录问题现象解决思路过拟合训练集表现极好测试集一塌糊涂增加数据量、加正则化、做数据增强、早停数据泄漏验证集指标虚高上线后效果暴跌严格按时间或按ID切分数据特征里不能混入标签信息显存不足OOM程序直接报CUDA out of memory调小batch size、降低输入分辨率、用混合精度、换小模型结果不稳定同一个模型跑两遍效果差异很大设置随机种子固定数据顺序保证评测环境一致损失不下降训练好几轮损失曲线一条直线调大学习率、检查数据归一化、检查梯度是否爆炸或消失其中数据泄漏这件事我特别想多说一句。我做过一个预测任务为了图省事把整份数据随机切分训练集和测试集。结果验证阶段指标特别好看沾沾自喜了好几天。后来业务上线才发现真实场景里模型的预测能力差得离谱。原因是我犯了一个隐蔽的错误同一条记录的多行副本同时出现在了训练集和测试集里模型等于提前看到了一部分答案。这个教训让我之后每次处理数据都会先问一句这个切分方式会不会让信息从未来泄漏到过去6.2 生成式AI特有的两个坑幻觉与评估幻觉是生成式AI最大的短板。模型生成的文本读起来自信满满、逻辑通顺但内容可能是完全瞎编的。比如问它一个冷门历史事件它能一本正经地给出一个不存在的日期和人物。这背后的原因跟大语言模型的工作机制有关它本质上是在做词语接龙目标是生成通顺的文本而不是检索真实的事实。应对幻觉有几个实用的手段。一个是给模型提供参考资料让模型基于以下资料回答问题不要编造资料之外的内容一个是降低temperature让输出更保守还有一个是引入检索增强生成RAG把回答建立在外部知识库的真实内容上。这些手段不能完全消除幻觉但能显著降低发生率。评估生成内容的好坏也是一个坑因为它没有一个唯一的正确答案。传统的机器翻译有BLEU这类指标但这类自动指标跟人的观感差距很大——一段机器翻译的句子可能得分高但读起来生硬一段得分低的人觉得还挺自然。我现在做评估都是人工加工具结合先让几个不同的人分别看一遍输出从流畅度、忠实度、相关性几个维度打分再配合一些自动化检测工具做粗筛。这个过程费时间但是值得。6.3 几条让我受益的学习习惯最后分享几条我总结下来的习惯不夸张地说它们帮我节省了至少一半的学习时间。第一官方文档优先于二手教程。遇到报错先查文档和GitHub上的issue不要急着去搜索引擎找别人的答案。很多教程写的时候依赖的版本都比较旧照着做反而容易踩坑。我自己因为照着旧教程配置环境浪费过一整个下午。第二不要把看视频当学习。看再多别人的讲解都不如自己动手跑一个代码片段理解得深。我自己的经验是看课程视频的时候觉得什么都懂了关了视频自己写连一个数据加载的代码都写不出来。动手写一遍哪怕报错十次也比看十遍教程管用。第三保持可复现的意识。每次跑实验都记下用的什么模型、什么参数、什么随机种子、什么版本库。这个习惯一开始不觉得有什么用等到了需要对比两个模型效果、需要回头排查结果的时候你才会发现记录救了你一命。我因为没记录随机种子复现不出之前的好结果又花了两天时间排查最后发现罪魁祸首就是没固定随机种子。第四容忍自己不完美。我标题里说的不完美这个心态不仅仅是个感性的说法也是一个理性的学习策略。你不需要从头到尾读懂每篇论文才敢动手实践。许多术语你会在实操中碰到五六次之后才真正理解这很正常。先让概念有一个模糊的直觉做项目时带着问题去定位往往比死磕理论更快。7. 最后聊聊我自己的体会7.1 回看我过去的学习笔记回头翻看自己半年前的学习笔记很多地方写得很幼稚甚至有一些理解和现在的认识完全相反。但我不打算把那些错误理解从笔记里删掉因为它们记录了我真实的成长轨迹。学习AI这件事最神奇的地方在于知识体系本身不是一个线性阶梯而是一张相互关联的网。你从网上任何一个节点出发沿着感兴趣的线走下去总会触碰到其他节点。如果你现在也在学习的路上我的建议是不要等自己足够厉害了才开始动手做项目要允许自己带着模糊的理解先跑起来。那些跑不通的报错那些看起来无解的难题恰恰就是最好的老师。愿你的每一步走得比我稳也比我快。
