拆解Transformer架构：为什么你的AI账单越用越贵？

文章目录你的钱包正在被Transformer合法抢劫RNN职场里最会传话传歪的同事CNN一个高度近视的图像冠军Transformer全场通吃的社交悍匪QKV一场精心设计的相亲大会多头注意力八个专家同时会诊还不要挂号费位置编码给每个Token发演唱会座位号三种架构BERT、GPT和T5的人生选择BERT双向偷看的学霸但不会说话T5先理解再表达的翻译官GPT只能往前看的话痨Transformer的四大职业病O(n²)复杂度越长越贵贵得离谱中间迷失开会时中间发言的人永远被忘记生成串行一个字一个字蹦急死个人位置编码外推没见过就是没见过别硬撑写在最后懂了架构才能少交智商税P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。你的钱包正在被Transformer合法抢劫我先问各位一个问题你上个月给OpenAI充了多少钱别装我都懂。那账单上的数字比你对象购物车里的数字还刺激。但你有没有想过为什么你多问两句Token就蹭蹭往上涨为什么上下文窗口永远有个128K、200K的硬上限为什么模型聊着聊着就失忆跟金鱼似的这些问题的答案全藏在一个叫Transformer的架构里。今天咱们不背公式不推导矩阵就聊聊这个让你又爱又恨的数字房东是怎么收租的。RNN职场里最会传话传歪的同事在Transformer之前AI界用的是RNN全称循环神经网络。这名字听起来像某种高级健身器材实际上它最大的本事就是传话——而且永远传歪。RNN处理文本的方式跟公司里的八卦传播链一模一样。A告诉B老板今天心情不错B告诉C老板今天好像挺高兴传到E的时候变成老板今天要裁员。这就是梯度消失前面的信息越传越淡最后连渣都不剩。更离谱的是RNN是个单线程生物。第二个字必须等第一个字算完第三个字必须等第二个字算完跟排队上厕所似的。你花几万块买的GPU有几百个核心它只用其中一个剩下的全在带薪刷短视频。RNN就像那种必须逐级审批的国企。你写个报销单从实习生传到主管主管传到经理经理传到总监总监传到VP。等批下来发票都过期了报销额度也忘了最后告诉你“这个流程走了三个月你重新填吧。”CNN一个高度近视的图像冠军CNN在图像识别领域是王者到了文本领域就是个高度近视还拒绝戴眼镜的倔强老头。它看文本只能看一个固定窗口比如一次看三个字。你让它读这个苹果看起来很红但它是塑料做的CNN看到苹果“很红”“圆的”一拍大腿这是真苹果完全没看到最后那个塑料因为它超出窗口范围了。想看全局信息可以堆一百层。但层数一多训练难度指数级上升跟叠罗汉似的越高越晃。叠到五十层的时候模型已经忘了自己为什么要叠。CNN看文本就像你隔着毛玻璃看对面楼的人。你能看出是个人但分不清是张三还是李四更看不见他手里拿的是花还是刀。然后它还特自信指着对面喊“那是好人”——人家手里明明拿着刀。Transformer全场通吃的社交悍匪然后Transformer登场了。这架构一出来RNN和CNN直接退役跟诺基亚遇到iPhone一个剧情连告别演出都没给。Transformer的核心就两个字注意力。它不是逐字往后传而是让每个词直接跟所有词打招呼。“银行这个词在我去银行存钱里它一眼就看见存钱”知道自己是个金融机构在我去银行边上散步里它看见边上“散步”知道自己是个地名。同一个词两种人生全靠上下文决定。更绝的是所有词同时计算注意力GPU几百个核心终于不用摸鱼了全负荷运转。训练速度提升几十倍以前跑一周的模型现在半天搞定。RNN看了直摇头“年轻人不讲武德搞偷袭。”RNN是传话Transformer是微信群。所有人同时在群里发言谁跟谁有关系一目了然不需要逐级汇报。唯一的问题是群消息太多手机内存不够——这就是O(n²)复杂度后面会讲。QKV一场精心设计的相亲大会Self-Attention里有个著名的QKV trio很多人一看公式就头大觉得是什么高维数学。其实特别简单就是一场相亲大会而且组织得比你公司团建还专业。Q是Query相当于男方的择偶条件“我想找个温柔体贴、会做饭、不爱查手机的”。K是Key相当于女方的个人资料“我会做饭爱旅行手机随便查因为里面没东西”。V是Value相当于女方实际见面后展现出来的真实内容——比如她其实不会做饭但点外卖速度一流。计算过程就是男方拿着条件Q去跟所有女方的资料K做匹配看看谁跟自己最合拍。匹配度高的就重点看她的真实内容V。匹配度低的直接已读不回。最妙的是Q和K只管匹配V管实际内容这两件事是解耦的。就像你可以先刷简历筛选再决定见谁效率极高。不像某些相亲平台资料是照骗见面才发现是另一种人生。所以当你写Prompt时上下文就是在给模型提供K和V。你给的上下文全是垃圾模型拿Q去匹配匹配出来的全是垃圾输出自然就是垃圾。这叫什么这叫垃圾进垃圾出计算机界第一定律跟吃了坏肚子肯定拉肚子一样不可违抗。多头注意力八个专家同时会诊还不要挂号费单头注意力只能学一种关系但语言是复杂的。一个词可能同时涉及语法、语义、指代、情感、位置等多种关系。就像一个病人可能同时有高血压、糖尿病、失眠和失恋。多头注意力就是把QKV复制多份每份独立计算。一个头专门看语法一个头专门看语义一个头专门看指代一个头专门看情感。就像八个专家同时给病人会诊每个专家看不同的指标最后综合出诊断结果。而且这八个专家还不要挂号费同时工作不额外收费。这些分工不是人为指定的是模型自己训练出来的。有的头天然成了语法头有的头成了指代头跟员工自发形成小团体一样领导根本没管它们自己就把活分了。这也解释了为什么结构化Prompt效果更好。多头注意力看到带标签的信息就像专家看到分类好的病历各拿各的互不干扰。你写成一大段文字等于把病历全揉成一团八个专家还得先分拣浪费Token还降低效率。结构化不是给你看的是给多头注意力看的——它眼神不好需要分栏。位置编码给每个Token发演唱会座位号Self-Attention有个天生的缺陷它不看顺序。在它眼里我爱你和你爱我就是三个词的排列组合没有区别。这跟某些直男看口红一样“都是红色有什么区别”这不行啊顺序一变意思全变。所以Transformer给每个词加了个位置编码相当于演唱会座位号。第一个词坐第一排第二个词坐第二排模型一看座位号就知道谁在前谁在后。原始的位置编码是用正弦余弦函数生成的像给每个座位设计了独特的灯光颜色。现代模型用的是可学习的位置编码相当于座位号也是训练出来的坐得多了自然知道哪个位置舒服哪个位置有柱子挡视线。但位置编码有个硬伤模型只见过训练时的座位范围。你说支持128K上下文但如果训练时最远只坐到4096号后面的座位它根本不认识。就像你让一个人去管理一个他从没去过的城市他只能凭想象。这就是为什么超长上下文后面质量会下降不是它不想记是它没见过那个座位。三种架构BERT、GPT和T5的人生选择BERT双向偷看的学霸但不会说话BERT是Encoder-Only双向注意力。每个词既能看前面也能看后面跟考试偷看前后桌答案一样。理解能力极强做分类、填空、语义匹配都是满分。但它有个致命缺陷不能生成。因为生成必须是从左到右看前面的词预测下一个词。BERT双向一看等于直接看到了答案没法做预测。这就像你让一个人同时看问题和答案然后问他答案是什么他只会翻白眼“你都给我看了还问我”T5先理解再表达的翻译官T5是Encoder-Decoder先让Encoder双向理解输入再让Decoder单向生成输出。适合翻译、摘要这种输入输出明确分离的任务。但它有两个部分要训练协调成本高规模扩大时不如Decoder-Only顺手。就像一家公司两个部门虽然专业但沟通成本太高。Encoder说我理解了Decoder说你说啥最后还得开个对齐会议。GPT只能往前看的话痨GPT是Decoder-Only单向注意力每个词只能看前面的。它生成文本的方式就是续写你给一句话它接着往下编。你跟它说今天天气不错它接着写适合出门走走但记得带伞因为可能会下雨不过也不一定看天气预报吧……对话、写代码、回答问题本质上都是续写。你问今天天气怎么样模型接着写今天天气晴朗适合出门。它不会思考它只会接着往下编。为什么现在大模型都用Decoder-Only三个原因一是Scaling效果最好参数越大优势越明显跟胖子越胖越不怕冷一样二是生成和理解都能做一专多能三是训练目标统一就是预测下一个Token简单直接不需要对齐两个部门的KPI。所以Prompt的最后一句话特别重要。模型是接着你最后一句往下写的你最后一句写请用Python写个爬虫它就往爬虫方向续写你最后一句写请用 Shakespeare 风格它就往十四行诗方向续写。末尾指令就是方向盘你方向盘打错了它就直接开沟里。Transformer的四大职业病O(n²)复杂度越长越贵贵得离谱Self-Attention的计算量跟序列长度的平方成正比。1K Token要算100万次2K Token要算400万次4K Token要算1600万次。128K Token163亿次。这不是线性增长这是平方级爆炸。这就是为什么Token计费不是按字数收是按字数×字数收。你每次多打一个字模型都要把前面所有字重新看一遍跟强迫症整理书架一样——每新增一本书要把整个书架重新整理一次。中间迷失开会时中间发言的人永远被忘记Transformer对开头和结尾的信息关注度高对中间的信息关注度低。这叫Lost in the Middle中间迷失。原因很现实开头的信息位置靠前对所有后续的词都有影响结尾的信息离生成位置最近天然获得更多关注。中间的信息两边不靠就像开会时第三个发言的人前面第一个和后面最后一个大家都记得中间那个谁他讲过什么所以重要信息别放Prompt中间放开头或结尾。System Prompt放开头定基调具体指令放结尾当方向盘。中间部分放点无关紧要的铺垫就行反正模型也记不住就像你开会时中间刷手机一样没人发现。生成串行一个字一个字蹦急死个人Decoder-Only生成Token必须一个一个来第N个字必须等第N-1个字出来。这跟RNN的串行不一样RNN是训练时串行GPT是生成时串行。所以生成速度有上限再强的硬件也得排队。这就是为什么大模型输出要流式返回不然用户等得以为死机了。理解是批处理生成是流水线速度差了一个数量级。就像你吃饭可以几口一起嚼但说话只能一个字一个字往外蹦。位置编码外推没见过就是没见过别硬撑模型训练时见过的位置范围是有限的。你说支持200K上下文但如果训练时最远只见过32K后面的位置编码就是瞎猜。各种外推技术比如RoPE、YaRN、NTK-Aware都是在缓解这个问题相当于给模型戴望远镜看远处。但望远镜再好也比不上亲眼见过。这就是为什么超长上下文后半段质量总会下降不是态度问题是能力问题。就像你让一个人描述他从未去过的城市他只能编。写在最后懂了架构才能少交智商税Transformer这架构说白了就是用注意力机制解决了RNN和CNN的硬伤。全局视野并行计算让它成了大模型的唯一选择跟智能手机取代功能机一样不可逆。但理解它不是为了背公式是为了知道为什么你的Prompt要结构化为什么上下文不能太长为什么重要信息要放开头或结尾为什么Token越用越贵。你不懂这些就像不懂油价机制还天天开车每个月被加油站温柔地抢劫。下次看到账单上几万Token的时候你可以淡定地喝口茶“哦这是O(n²)的代价我懂。”然后默默把上下文清理了一下重新发了一次。省钱从懂Transformer开始。毕竟在这个AI时代知识就是金钱而Transformer正在按平方收租。P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。