【免费下载链接】PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B项目地址https://ai.gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B点击查看免费下载本文带你完整复现PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B——一个基于 LLaVA 架构、融合 PIIP 视觉金字塔网络的多模态大模型——的训练流程。这个仓库本身就是一份训练档案除了 14.3GB 的模型权重还完整保留了 trainer_state.json 训练日志我们将从中逆向还原全部训练超参数手把手带你从零复现整个训练过程。 PIIP-LLaVA 是什么先看架构PIIP-LLaVA 由 OpenGVLab 团队提出核心创新是PIIPParameter-Inverted Image Pyramid参数反转图像金字塔视觉塔同时用高分辨率分支ConvNeXt-B输入 640×640和 CLIP-L 低分辨率分支输入 224×224双路提取图像特征再经投影层送入 7B 语言模型。模型命名即架构速写名称片段含义ConvNeXt-B高分辨率视觉骨干网络输入 640×640CLIP-L低分辨率 CLIP 视觉分支输入 224×224640-224双分支输入分辨率7B语言模型参数量基于 vicuna-7b-v1.5数据流如下图像 ── [ConvNeXt-B 640分支] ──┐ └── [CLIP-L 224分支] ────┴── mlp2x_gelu 投影器 ── Vicuna-7B LLM ── 文本输出语言模型部分为 LLaMA 架构LlavaLlamaForCausalLM32 层、隐藏维度 4096、词表 32000、上下文长度 4096这些均可在 config.json 中逐项核对。 仓库里有什么一份带训练日志的预训练权重这个仓库是训练产物的交付包不是训练代码仓库。关键文件一览文件说明model-00001-of-00003.safetensors 等 3 个分片模型权重总大小 14,360,516,096 字节约 14.3GBmodel.safetensors.index.json1132 个权重张量的分片索引config.json模型与训练配置复现的关键证据trainer_state.json完整训练日志每步 loss 与学习率generation_config.json推理生成参数tokenizer_config.json分词器配置LlamaTokenizer⚠️复现第一个坑本仓库的权重文件启用了 Git LFS见 .gitattributes克隆后若未配置git lfs pull拿到的只是 135 字节的指针文件而非真实权重。 还原训练配方从日志逆向出的超参数trainer_state.json 记录了全部 5198 个训练步据此可以精确还原训练配方超参数数值证据来源训练步数5198 步恰好 1 个 epochmax_steps/num_train_epochs单卡 batch size16train_batch_size峰值学习率2e-5学习率在第 156 步到达峰值后余弦衰减至 0Warmup约 156 步线性learning_rate序列损失曲线1.32起步→ 0.75中期→ 0.44最后一步loss序列训练耗时34129 秒 ≈9.5 小时train_runtime吞吐量19.5 samples/strain_samples_per_second计算量2.02×10¹⁹ FLOPstotal_flos精度bfloat16config.json#L40torch_dtype注意力实现flash_attention_2generation_config.json#L2另一个关键证据config.json#L43 中tune_vision_tower: true说明本次训练打开了视觉塔参与更新——这正是 LLaVA 式多模态指令微调而非仅训练投影器阶段的特征。 从零复现完整五步流程第 1 步获取代码与基础模型训练代码位于团队的 PIIP 仓库llava子目录README 中有指引先克隆本权重仓库获取配置参照git lfs install git clone https://gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B然后下载两个基础组件语言模型底座lmsys/vicuna-7b-v1.5见 README.md#L6 的base_model声明PIIP 视觉塔配置config.json#L27 指向训练仓库中的configs/piip-llava_convnext-b_clip-l_640-224_7B.py训练时需将其作为mm_vision_tower参数传入。第 2 步准备多模态训练数据按 LLaVA 范式准备两套数据预训练阶段图像-短描述对大规模 caption 数据用于让投影器学会视觉→文本对齐指令微调阶段多轮对话式图文指令数据如 LLaVA-150K 一类数据集即本次 5198 步训练所使用的数据。第 3 步阶段一——仅训练视觉投影器冻结视觉塔和 LLM只训练mlp2x_gelu投影器config.json#L22让图像特征嵌入 LLM 的输入空间。此阶段步数少、收敛快是整个流程的对齐锚点。第 4 步阶段二——全量多模态指令微调解冻投影器与视觉塔tune_vision_towertrueLLM 保持冻结按第 2 节的日志数值设置超参数# 参考训练参数数值还原自本仓库训练日志 torchrun --nproc_per_node8 train_mem_efficient.py \ --model_name_or_path lmsys/vicuna-7b-v1.5 \ --mm_tune_vision_tower true \ --mm_projector_type mlp2x_gelu \ --bf16 true \ --per_device_train_batch_size 16 \ --learning_rate 2e-5 \ --warmup_steps 156 \ --lr_scheduler_type cosine \ --num_train_epochs 1 以上命令结构供参考具体脚本名与参数拼写以 PIIP 仓库llava目录中的训练脚本为准。训练约 9.5 小时后对照本仓库 trainer_state.json 的指标验收你的复现loss 应从约 1.3 平滑降至 0.4~0.8 区间train_runtime处于 3.4 万秒量级即为成功。第 5 步加载模型做推理验证训练完成后使用本仓库权重做推理推荐沿用官方生成参数generation_config.jsontemperature0.9、top_p0.6、max_length4096配合 FlashAttention-2 与 bfloat16 可获得最佳显存/速度平衡。️ 常见坑与调优建议问题建议显存不足OOM保持 bf16 flash_attention_2开启 gradient checkpointing必要时降低单卡 batch size 并用梯度累积等效放大早期 loss 震荡剧烈保留约 150 步线性 warmup不要从峰值学习率冷启动克隆仓库后权重加载失败检查 LFS 指针真权重单分片约 4.9GB指针仅 135 字节依赖版本报错仓库基于transformers 4.37.2保存config.json#L41环境尽量对齐该版本双分辨率输入报错确认视觉塔配置按 640/224 双分支加载勿混用单分支 CLIP 配置 引用若复现成果用于研究请引用团队的两篇论文Parameter-Inverted Image Pyramid NetworksarXiv:2406.04330与Parameter-Inverted Image Pyramid Networks for Visual Perception and Multimodal UnderstandingarXiv:2501.07783BibTeX 已收录于 README.md#L21-L39。小结借助 trainer_state.json 的完整日志PIIP-LLaVA 的训练配方已完全透明——5198 步、batch 16、峰值学习率 2e-5、bf16 精度下约 9.5 小时。按上文五步走任何人都能从零复现这个多模态大模型的完整训练流程。赞分享【免费下载链接】PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B项目地址https://ai.gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B点击查看免费下载相关推荐如何快速上手Charisma10分钟搭建专业后台界面如何快速上手Charisma10分钟搭建专业后台界面 想要快速构建一个功能齐全、界面美观的后台管理系统吗Charisma正是你需要的免费响应式多皮肤管理模板如何从零开始预训练大模型NeMo AutoModel nanoGPT与DeepSeek-V3预训练完整指南如何从零开始预训练大模型NeMo AutoModel nanoGPT与DeepSeek V3预训练完整指南 想自己从零开始预训练大模型却不知从何下手 Ne如何训练自定义LatentSync模型完整训练流程详解如何训练自定义LatentSync模型完整训练流程详解 想要实现精准的唇形同步效果LatentSync模型通过结合Stable Diffusion技术和多模人工智能深度学习媒体生成计算机视觉语音上一篇TimesFM动态协变量效能提升指南3个核心原则与4个实战场景下一篇SketchyBar品牌形象设计从logo到整体风格创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
