人工智能NLP知识图谱深度学习【免费下载链接】DeepKE[EMNLP 2022] An Open Toolkit for Knowledge Graph Extraction and Construction项目地址https://gitcode.com/gh_mirrors/de/DeepKE点击查看免费下载导读本指南聚焦 DeepKE 开源知识抽取工具包中的pretrained目录pretrained/readme.md系统讲解该目录的用途、推荐的预训练模型来源、文件存放规范以及 DeepKE 各任务模块如何通过配置路径加载本地 BERT 模型完成属性抽取AE、命名实体识别NER、关系抽取RE等任务。读完本文你将掌握在 DeepKE 中正确准备、校验和引用本地预训练模型尤其是中文 BERT的完整实操方法并能定位到对应的源码实现与配置文件。一、目录定位与设计初衷DeepKE 在项目根目录下专门划出pretrained/文件夹用于存放预训练模型的参数文件如 BERT 等。这一设计对应项目主 README 中的安装建议见 README.mdIts slow to install the pretrained language models online. Recommend download pretrained models before use and save them in thepretrainedfolder.中文版说明README_CN.md同样强调使用语言预训练模型时在线安装下载模型比较慢更建议提前下载好存放到 pretrained 文件夹内。也就是说该目录存在的根本原因是规避在线下载慢的问题DeepKE 内部通过 HuggingFacetransformers的from_pretrained接口加载模型该接口既接受在线模型名如bert-base-chinese也接受本地目录路径。把模型提前下载到pretrained/下再在配置文件中以本地路径引用即可避免训练/推理时反复访问外网。二、推荐的预训练模型来源针对中文场景pretrained/readme.md明确给出推荐推荐模型哈尔滨工业大学发布的中文全词遮掩Whole Word Masking, WWM预训练模型BERT-wwm下载途径该模型提供讯飞云下载在国内下载速度很快具体下载链接需参见原项目主页的说明。选用全词遮掩版本的 BERT 通常能比标准中文 BERT 获得更好的中文语义表示效果这对 DeepKE 中涉及中文实体、关系、属性抽取的任务尤为重要。英文场景则可直接使用bert-base-uncased等 HuggingFace 在线模型在线下载或提前下载后以本地路径引用。三、目录内的三件套必备文件清单与作用pretrained/readme.md明确要求模型存放文件夹内必须包含以下三个文件缺一不可文件作用config.jsonBERT 模型结构的配置文件层数、隐藏维度、注意力头数等pytorch_model.bin预训练模型参数PyTorch 权重文件vocab.txtBERT 模型词表WordPiece 词表这三个文件分别对应该目录下游源码的加载路径模型结构transformers.BertModel.from_pretrained在加载时会自动读取目录内的config.json构建网络结构。例如关系抽取的 LM 模型src/deepke/relation_extraction/standard/models/LM.py和属性抽取的 LM 模型src/deepke/attribution_extraction/standard/models/LM.py均调用BertModel.from_pretrained(cfg.lm_file, ...)其中cfg.lm_file指向该目录路径。模型参数pytorch_model.bin即预训练权重文件会被from_pretrained自动加载进网络。词表分词阶段需要词表文件。关系抽取与属性抽取的数据预处理均通过BertTokenizer.from_pretrained(cfg.lm_file)初始化分词器见 src/deepke/relation_extraction/standard/tools/preprocess.pyNER 推理模块同样以模型目录构建BertTokenizer见 src/deepke/name_entity_re/standard/models/InferBert.py。实用建议下载后请逐一核对三个文件是否存在且非空。若缺少config.json或vocab.txtfrom_pretrained会直接报错若pytorch_model.bin损坏或版本不匹配如与transformers版本不兼容加载时会出现权重不匹配异常。四、在配置文件中引用预训练模型预训练模型目录需要写入对应任务的配置文件以lm_file/bert_model参数指定。以下为三类典型任务的配置示例。4.1 属性抽取AE与关系抽取RElm 模型以属性抽取为例配置文件 example/ae/standard/conf/model/lm.yaml 中model_name: lm # 当使用预训练语言模型时该预训练的模型存放位置 # lm_name bert-base-chinese # download usage #lm_file: pretrained lm_file: bert-base-chinese # transformer 层数初始 base bert 为12层 # 但是数据量较小时调低些反而收敛更快效果更好 num_hidden_layers: 1 # 后面所接 bilstm 的参数 type_rnn: LSTM # [RNN, GRU, LSTM] input_size: 768 # 这个值由bert得到 hidden_size: 100 # 必须为偶数 num_layers: 1 dropout: 0.3 bidirectional: True last_layer_hn: True关系抽取的 example/re/standard/conf/model/lm.yaml 结构与之完全一致。关键参数解读lm_file预训练模型所在路径。注释中明确给出两种用法——设为在线模型名bert-base-chinese联网下载或设为本地目录如pretrained。推荐做法是注释掉在线写法、取消lm_file: pretrained的注释指向仓库pretrained/目录或该目录下的具体模型子目录num_hidden_layers实际使用的 Transformer 层数。初始 base BERT 为 12 层数据量较小时调低层数反而收敛更快、效果更好该值会作为num_hidden_layers参数传入BertModel.from_pretrainedinput_size: 768BERT 输出的隐藏维度注释说明这个值由 bert 得到即与 base BERT 的 hidden size 对应需与所选预训练模型一致如使用 Large 版 BERT 时需相应调整hidden_size: 100BiLSTM 隐藏维度必须为偶数。在模型实现中LM类通过BertModel.from_pretrained(cfg.lm_file, num_hidden_layerscfg.num_hidden_layers)完成模型构建随后接 BiLSTM 与全连接分类层AE 版见 src/deepke/attribution_extraction/standard/models/LM.pyRE 版见 src/deepke/relation_extraction/standard/models/LM.py。config.yaml中通过defaults的model: lm一行即可启用该模型见 example/ae/standard/conf/config.yaml。4.2 命名实体识别NERbert 模型NER 标准任务的模型配置位于 example/ner/standard/conf/hydra/model/bert.yamlmodel_name: bert bert_model: bert-base-chinese # Modify to your local bert model path, e.g., path/to/your/local/bert-base-chinese do_lower_case: True fp16: False fp16_opt_level: 01 local_rank: -1 loss_scale: 0.0 max_grad_norm: 1.0 max_seq_length: 128 task_name: ner关键参数bert_model注释明确提示可改为本地 bert 模型路径即pretrained目录下的模型子目录do_lower_case是否在分词时转为小写中文模型一般保持True无影响英文 uncased 模型须为Truemax_seq_lengthBERT 输入的最大序列长度默认 128按数据集实际长度调整。在推理侧src/deepke/name_entity_re/standard/models/InferBert.py 的load_model通过BertNer.from_pretrained(model_dir)加载微调后的 BERTToken 分类模型并用BertTokenizer.from_pretrained(model_dir, do_lower_case...)恢复分词器验证了模型目录 三件套这一存放约定的实际生效路径。4.3 对比lstmcrf 非预训练路线作为对照NER 也可选lstmcrf路线example/ner/standard/conf/hydra/model/lstmcrf.yaml其词汇表来自本地data_bilstm.pkl、权重从 checkpoint 加载完全不需要pretrained/目录——这正说明了预训练目录仅服务于 LM/BERT 类模型路线。五、加载链路从配置文件到模型实例综合上述配置与源码DeepKE 中预训练模型的加载链路可归纳为配置文件 (lm_file / bert_model) │ ▼ BertModel.from_pretrained / BertTokenizer.from_pretrained transformers 读取目录内 config.json pytorch_model.bin / vocab.txt │ ▼ LM 模型AE/REBERT → BiLSTM → 分类层 BertNer 模型NERBERT → Token 分类层AE/RE 路线cfg.lm_file同时被模型构建BertModel.from_pretrained与数据预处理BertTokenizer.from_pretrained见 src/deepke/relation_extraction/standard/tools/preprocess.py两处引用因此存放目录与分词路径必须保持一致预处理时关系抽取会把实体类型拼接入句子sent [SEP] head [SEP] tail见 preprocess.pytoken 序列长度受预训练模型词表与max_seq_length共同约束。六、常见问题与排查建议现象可能原因排查/解决OSError: Cant load config目录内缺少config.json核对三件套是否齐全KeyError: [UNK]或分词异常vocab.txt缺失或与模型不匹配使用与模型配套的官方词表权重加载报 size mismatchpytorch_model.bin与config.json不一致或transformers版本不匹配重新下载同版本模型包DeepKE 主体环境要求transformers3.4.0多模态部分加载 CLIP 需要transformers4.11.3见 example/ner/multimodal/README.md在线加载过慢未提前下载模型按本指南将模型存入pretrained/并改用本地路径七、小结pretrained/目录是 DeepKE 运行 LM/BERT 类模型前的关键准备环节它约定了一个一目录三文件config.jsonpytorch_model.binvocab.txt的标准化存放规范中文场景推荐哈工大 BERT-wwm 全词遮掩模型讯飞云下载加速并通过各任务配置文件中的lm_file/bert_model参数接入模型与分词器加载链路。按照本文步骤下载、存放并正确引用模型即可避免在线下载慢的问题顺利跑通属性抽取、命名实体识别、关系抽取等任务的训练与预测流程。赞分享人工智能NLP知识图谱深度学习【免费下载链接】DeepKE[EMNLP 2022] An Open Toolkit for Knowledge Graph Extraction and Construction项目地址https://gitcode.com/gh_mirrors/de/DeepKE点击查看免费下载相关推荐ConvNeXt预训练模型下载与加载完整指南ConvNeXt预训练模型下载与加载完整指南 ConvNeXt作为现代卷积神经网络的重要代表其预训练模型在各种计算机视觉任务中表现出色。本文将详细介绍Conv人工智能深度学习计算机视觉预训练微调ConvNeXt预训练模型下载与加载指南ConvNeXt预训练模型下载与加载指南 引言解决预训练模型使用痛点 你是否在使用ConvNeXt模型时遇到过这些问题预训练权重下载缓慢、模型加载代码报错、人工智能深度学习计算机视觉预训练微调bert4keras预训练模型加载指南支持BERT、RoBERTa、ALBERTbert4keras预训练模型加载指南支持BERT、RoBERTa、ALBERT bert4keras是一个轻量级的Keras版Transformer模NLP深度学习上一篇基于 DirectX 与 XAML 的 UWP 第一人称 3D 游戏示例Simple3DGameXaml 架构与实践全解析下一篇终极Dell G15散热控制方案告别AWCC的轻量级替代工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
