一文搞懂 Transformer（总体架构 三种注意力层）_transformer架构

本文将从Transformer的本质、Transformer_的原理_、_Transformer的应用__三个方面带您一文搞懂Transformer总体架构 三种注意力层。一、Transformer 的本质Transformer的起源Google Brain 翻译团队通过论文《Attention is all you need》提出了一种全新的简单网络架构——Transformer它完全基于注意力机制摒弃了循环和卷积操作。注意力机制是全部所需主流的序列转换模型RNNTransformer出来之前主流的序列转换模型都基于复杂的循环神经网络RNN包含编码器和解码器两部分。当时表现最好的模型还通过注意力机制将编码器和解码器连接起来。Transformer vs RNN循环神经网络RNN、特别是长短时记忆网络LSTM和门控循环单元网络GRU已经在序列建模和转换问题中牢固确立了其作为最先进方法的地位这些问题包括语言建模和机器翻译。RNN LSTM GRURNN编码器-解码器架构存在一个显著的缺陷处理长序列时会存在信息丢失。编码器在转化序列x1, x2, x3, x4为单个向量c时信息可能丢失。因为所有信息被压缩到这一个向量中增加了信息损失的风险。解码器从这一向量中提取信息也很复杂。RNN编码器-解码器架构注意力机制一种允许模型在处理信息时专注于关键部分忽略不相关信息从而提高处理效率和准确性的机制。它模仿了人类视觉处理信息时选择性关注的特点。注意力机制当人类的视觉机制识别一个场景时通常不会全面扫描整个场景而是根据兴趣或需求集中关注特定的部分如在这张图中我们首先会注意到动物的脸部正如注意力图所示颜色更深的区域通常是我们最先注意到的部分从而初步判断这可能是一只狼。注意力机制Q、K、V注意力机制通过查询Q匹配键K计算注意力分数向量点乘并调整将分数转换为权重后加权值V矩阵得到最终注意力向量。Q、K、V计算注意力分数注意力分数的价值量化注意力机制中某一部分信息被关注的程度反映了信息在注意力机制中的重要性。注意力分数的价值Transformer的本质Transformer是一种基于自注意力机制的深度学习模型为了解决自然语言处理中的序列到序列sequence-to-sequence问题而设计的。相较于RNN模型Transformer模型具有2个显著的优势。优势一处理长序列数据。Transformer采用自注意力机制能够同时处理序列中的所有位置捕捉长距离依赖关系从而更准确地理解文本含义。而RNN模型则受限于其循环结构难以处理长序列数据。优势二实现并行化计算。由于RNN模型需要依次处理序列中的每个元素其计算速度受到较大限制。而Transformer模型则可以同时处理整个序列大大提高了计算效率。Transformer vs RNN二、Transformer 的原理编码器-解码器架构Encoder-Decoder架构是自然语言处理NLP和其他序列到序列Seq2Seq转换任务中的一种常见框架。这种架构的核心思想是将输入序列编码成一个固定大小的向量表示然后利用这个向量来生成输出序列。RNN编码器-解码器架构机器翻译机器翻译就是典型Seq2Seq模型架构包括编码器和解码器两部分。能实现从一个序列到另外一个序列的映射而且两个序列的长度可以不相等。机器翻译Transformer的架构Transformer也遵循编码器-解码器总体架构使用堆叠的自注意力机制和逐位置的全连接层分别用于编码器和解码器如图中的左半部分和右半部分所示。Transformer的架构Encoder编码器Transformer的编码器由6个相同的层组成每个层包括两个子层一个多头自注意力层和一个逐位置的前馈神经网络。在每个子层之后都会使用残差连接和层归一化操作这些操作统称为AddNorm。这样的结构帮助编码器捕获输入序列中所有位置的依赖关系。Encoder编码器架构Decoder解码器Transformer的解码器由6个相同的层组成每层包含三个子层掩蔽自注意力层、Encoder-Decoder注意力层和逐位置的前馈神经网络。每个子层后都有残差连接和层归一化操作简称AddNorm。这样的结构确保解码器在生成序列时能够考虑到之前的输出并避免未来信息的影响。Decoder解码器架构编码器与解码器的本质区别在于Self-Attention的Mask机制。编码器与解码器的本质区别Transformer的核心组件Transformer模型包含输入嵌入、位置编码、多头注意力、残差连接和层归一化、带掩码的多头注意力以及前馈网络等组件。Transformer的核心组件输入嵌入将输入的文本转换为向量便于模型处理。位置编码给输入向量添加位置信息因为Transformer并行处理数据而不依赖顺序。多头注意力让模型同时关注输入序列的不同部分捕获复杂的依赖关系。残差连接与层归一化通过添加跨层连接和标准化输出帮助模型更好地训练防止梯度问题。带掩码的多头注意力在生成文本时确保模型只依赖已知的信息而不是未来的内容。前馈网络对输入进行非线性变换提取更高级别的特征。Transformer的核心组件Transformer的3种注意力层在Transformer架构中有3种不同的注意力层Self Attention自注意力、Cross Attention 交叉注意力、Causal Attention因果注意力编码器中的自注意力层Self Attention layer编码器输入序列通过Multi-Head Self Attention多头自注意力计算注意力权重。解码器中的交叉注意力层Cross Attention layer编码器-解码器两个序列通过Multi-Head Cross Attention多头交叉注意力进行注意力转移。解码器中的因果自注意力层Causal Attention layer解码器的单个序列通过Multi-Head Causal Self Attention多头因果自注意力进行注意力计算Transformer的3种注意力层先了解一些概念Scaled Dot-Product Attention、Self Attention、Multi-Head Attention、Cross Attention、Causal AttentionScaled Dot-Product Attention和Multi-Head AttentionScaled Dot-Product Attention缩放点积注意力输入包括维度为dk的查询queries和键keys以及维度为dv的值values。我们计算查询与所有键的点积每个点积结果都除以√dk然后应用softmax函数以得到注意力分数。体现如何计算注意力分数关注Q、K、V计算公式。Scaled Dot-Product Attention缩放点积注意力Self Attention自注意力对同一个序列通过缩放点积注意力计算注意力分数最终对值向量进行加权求和从而得到输入序列中每个位置的加权表示。表达的是一种注意力机制如何使用缩放点积注意力对同一个序列计算注意力分数从而得到同一序列中每个位置的注意力权重。Self Attention自注意力Multi-Head Attention多头注意力多个注意力头并行运行每个头都会独立地计算注意力权重和输出然后将所有头的输出拼接起来得到最终的输出。强调的是一种实操方法实际操作中我们并不会使用单个维度来执行单一的注意力函数而是通过h8个头分别计算然后加权平均。这样为了避免单个计算的误差。Multi-Head Attention多头注意力Cross Attention交叉注意力输入来自两个不同的序列一个序列用作查询Q另一个序列提供键K和值V实现跨序列的交互。Cross Attention交叉注意力Causal Attention因果注意力为了确保模型在生成序列时只依赖于之前的输入信息而不会受到未来信息的影响。Causal Attention通过掩盖mask未来的位置来实现这一点使得模型在预测某个位置的输出时只能看到该位置及其之前的输入。Causal Attention因果注意力疑问一图中编码器明明写的是Multi-Head Attention怎么就说是Self Attention编码器的Self Attention疑问一解答Scaled Dot-Product Attention、Self Attention、Multi-Head Attention实际上说的是同一件事从不同维度解答如何获取同一个序列中每个位置的注意力权重。图上标注Multi-Head Attention强调需要多个头计算注意力权重。疑问二图中编码器明明写的也是Multi-Head Attention怎么就说是Cross Attention编码器-解码器的Cross Attention疑问二解答Cross Attention、Multi-Head Attention实际上说的是也同一件事从不同维度解答两个不同序列之间如何进行注意力转移。图上标注Multi-Head Attention强调需要多个头进行注意力转移计算。疑问三图中编码器明明写的也是Masked Multi-Head Attention怎么就说是Causal Attention解码器的Causal Attention疑问三解答Causal Attention、Mask Multi-Head Attention实际上说的是也同一件事解码器中Self Attention如何结合Causal Attention来保持自回归属性。Mask Multi-Head Attention强调使用了多个独立的注意力头每个头都可以学习不同的注意力权重从而增强模型的表示能力。而Causal Attention则强调了模型在预测时只能依赖于已经生成的信息不能看到未来的信息。三、 Transformer的应用Transformer应用NLP由于Transformer强大的性能Transformer模型及其变体已经被广泛应用于各种自然语言处理任务如机器翻译、文本摘要、问答系统等。TransformerVaswani等人首次提出了基于注意力机制的Transformer用于机器翻译和英语句法结构解析任务。BERTDevlin等人介绍了一种新的语言表示模型BERT该模型通过考虑每个单词的上下文。因为它是双向的在无标签文本上预训练了一个Transformer。当BERT发布时它在11个NLP任务上取得了最先进的性能。GPTBrown等人在一个包含45TB压缩纯文本数据的数据集上使用1750亿个参数预训练了一个基于Transformer的庞大模型称为GPT-3。它在不同类型的下游自然语言任务上取得了强大的性能而无需进行任何微调。Transformer模型及其变体Transformer应用CVVision TransformerViT是一种革命性的深度学习模型它彻底改变了传统计算机视觉领域处理图像的方式。ViT采用了Transformer模型中的自注意力机制来建模图像的特征这与CNN通过卷积层和池化层来提取图像的局部特征的方式有所不同。ViT模型主体的Block结构基于Transformer的Encoder结构包含Multi-head Attention结构。Vision TransformerViT的本质将图像视为一系列的“视觉单词”或“令牌”tokens而不是连续的像素数组。ViT的本质ViT的工作流程将图像分割为固定大小的图像块patches将其转换为Patch Embeddings添加位置编码信息通过包含多头自注意力和前馈神经网络的Transformer编码器处理这些嵌入最后利用分类标记进行图像分类等任务。ViT的工作流程如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。