人工智能深度学习计算机视觉NLP语音【免费下载链接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.项目地址https://gitcode.com/gh_mirrors/mo/models点击查看免费下载本篇技术指南围绕飞桨模型库PaddleNLP中的社区模型google/t5-small-lm-adapt展开介绍该 T5 Version 1.1 - LM Adapted 变体的技术背景与改进点并给出从模型文件清单、paddlenlpCLI 命令行下载到AutoModel加载使用的完整实操方案。读者按本文步骤操作即可在自己的环境中快速获取该模型权重并通过 PaddleNLP 完成加载与推理。模型概览T5 Version 1.1 - LM Adaptedgoogle/t5-small-lm-adapt是 Google 官方 T5 系列中Version 1.1 - LM AdaptedLM 适配版的小规模检查点对应模型大小约 419.10MB属于自然语言处理NLP领域的**文本序列生成Text2Text Generation**任务模型。该模型的元信息任务标签、数据集、许可证、关联论文等可在 info.yaml 中查看预训练数据集为 C4许可证为 apache-2.0关联论文为《GLU Variants Improve Transformer》与《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》。与原始 T5 模型相比Version 1.1 - LM Adapted 版本包含以下关键改进详见 introduction_en.ipynb 中的模型介绍部分GEGLU 激活函数前馈隐藏层采用 GEGLU 激活替代 ReLU来自 GLU 变体改进 Transformer 的研究成果预训练阶段关闭 Dropout预训练时关闭 Dropout 以获得质量提升微调fine-tuning阶段应重新开启仅使用 C4 语料预训练不再混入下游任务数据嵌入层与分类层不共享参数命名体系调整xl 和 xxl 取代原先的 3B 和 11B且模型形状略有差异——d_model更大num_heads与d_ff更小。该检查点由 T5 Version 1.1 - Small 初始化并额外以 T5 论文中讨论的语言建模LM目标继续训练了 100K 步这一 LM 适配显著提升了模型用于prompt tuning提示微调的能力。需要注意该模型同时以去噪denoising与语言建模两种目标进行预训练。模型文件清单与获取途径模型目录下提供了三个核心文件可通过表格列出的链接分别下载对应英文文档 download_en.md 与中文文档 download_cn.md模型名称模型介绍模型大小模型下载google/t5-small-lm-adaptT5 Version 1.1 - LM Adapted419.10MBmodel_config.jsonmodel_state.pdparamstokenizer_config.json三个文件的作用分别如下model_config.json模型的配置文件包含d_model、num_heads、d_ff、层数等结构超参数AutoModel.from_pretrained加载时会依据它构建网络结构model_state.pdparams飞桨PaddlePaddle格式的预训练权重文件即模型全部参数是推理与微调的核心文件tokenizer_config.json分词器配置配合 T5 的 SentencePiece 词表完成文本与 token id 之间的转换。方式一通过 paddlenlp CLI 一键下载除了逐个文件手动下载更推荐使用paddlenlp提供的命令行工具批量拉取全部模型文件这也是社区模型的标准获取方式。第一步安装/升级 paddlenlppip install --upgrade paddlenlp第二步使用 CLI 下载模型paddlenlp download --cache-dir ./pretrained_models google/t5-small-lm-adapt执行后google/t5-small-lm-adapt的模型配置、权重与分词器配置会被统一缓存到当前目录下的./pretrained_models目录中。使用--cache-dir参数可自定义缓存位置便于多个模型统一管理。从模型库整体结构看这种模型列表 CLI 下载的组织方式是社区模型页面的通用范式modelcenter/guide_en.md 中第 1.3 节Model Download即说明了各任务场景下的预训练模型文件可直接获取下载。方式二通过 AutoModel 加载并使用下载完成后即可通过 PaddleNLP 的AutoModel接口加载模型进行使用。以下示例代码来自模型目录内的 introduction_en.ipynb 使用章节可用于快速验证模型能否正常加载与前向计算import paddle from paddlenlp.transformers import AutoModel # 自动加载模型会读取缓存目录中的模型文件 model AutoModel.from_pretrained(google/t5-small-lm-adapt) # 构造随机输入验证模型前向 input_ids paddle.randint(100, 200, shape[1, 20]) decoder_input_ids paddle.randint(100, 200, shape[1, 20]) print(model(input_ids, decoder_input_idsdecoder_input_ids))作为 T5 类编码器-解码器Encoder-Decoder模型前向计算时需要同时传入编码器的input_ids与解码器的decoder_input_ids。若需要完整的分词与文本生成流程可进一步搭配AutoTokenizer将文本转换为 token id再基于该模型进行摘要、翻译、问答等 text-to-text 下游任务的推理或微调。由于该模型特别适配 prompt tuning在提示微调场景下往往能获得更好的效果。常见问题与注意事项模型格式该模型的介绍与权重源自 Google 官方发布的 T5 Version 1.1 - LM Adapted 检查点已由社区转换为飞桨PaddlePaddle格式便于在 PaddleNLP 生态中直接使用预训练与微调差异模型在预训练阶段关闭了 Dropout因此在微调下游任务时需按 T5 惯例重新开启 Dropout问题反馈若下载过程中遇到任何问题可在 PaddleNLP 项目中提交 Issue 以获得支持同时也可以对照 download_cn.md 的中文说明进行排查环境依赖使用前需确保已安装 PaddlePaddle 框架与 paddlenlp可通过pip install --upgrade paddlenlp获取最新版本。综上google/t5-small-lm-adapt是飞桨生态中轻量易用的文本生成预训练模型先通过paddlenlp download拉取权重再用AutoModel.from_pretrained加载即可快速接入下游 NLP 任务尤其适合作为 prompt tuning 与 text-to-text 迁移学习实验的起点。赞分享人工智能深度学习计算机视觉NLP语音【免费下载链接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.项目地址https://gitcode.com/gh_mirrors/mo/models点击查看免费下载相关推荐PaddleNLP 社区模型实战google/t5-base-lm-adaptT5-Base LM-Adapted的下载与加载使用指南PaddleNLP 社区模型实战google/t5 base lm adaptT5 Base LM Adapted的下载与加载使用指南 本篇技术指南围绕人工智能深度学习计算机视觉NLP语音handy4cj日期时间处理指南格式化、校验与年龄计算一次搞定handy4cj日期时间处理指南格式化、校验与年龄计算一次搞定 handy4cj 是一个基于仓颉语言的日期时间处理与数据验证工具库把开发者最常头疼的三件事封人工智能深度学习计算机视觉NLP语音PaddleNLP 模型库实践google/t5-large-lm-adapt 的下载、加载与微调应用指南PaddleNLP 模型库实践google/t5 large lm adapt 的下载、加载与微调应用指南 T5Text to Text Transfer人工智能深度学习计算机视觉NLP语音上一篇WeKnora Docker 部署完全指南私有 RAG 知识库从环境评估到长期运维下一篇Arnis 现实城市 Minecraft 生成3 步把家乡搬进游戏创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
