【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载InternVL3_5-14B-HF是开源多模态大模型 InternVL3.5 系列的 14B 参数版本HuggingFace 格式总参数量约 15.1B其中语言部分基于 Qwen3-14B视觉部分为 InternViT-300M。它的推理能力大幅提升核心秘诀就在于一套名为Cascade RL级联强化学习的后训练框架先用MPO做离线 RL再用GSPO做在线 RL。本文将用大白话讲清楚这两步各自解决什么问题以及为什么组合拳比只练一招强这么多。一、先认识 InternVL3_5-14B-HF这是个什么来头的模型从 README.md 可以看到InternVL3.5 采用经典的ViT–MLP–LLM架构范式并保留了动态高分辨率Dynamic High Resolution策略。对 14B 这个规格来说组件规格作用视觉编码器InternViT-300M约 0.3B把图像切成 448×448 的 patch 提取特征语言模型Qwen3-14B约 14.8B理解图文、生成答案与长思维链精度bfloat16见 config.json权重被切分成 7 个分片可以通过 model.safetensors.index.json 查看每个参数张量存放的位置分词配置由 tokenizer.json 与 generation_config.json 定义。按照官方说明InternVL3.5 相比上一代 InternVL3整体推理性能最高提升16.0%同时推理效率大幅提升——而这份成绩单里级联强化学习贡献了关键一环。二、Cascade RL 是什么为什么单一 RL 不够用多模态大模型的训练分为四个阶段详见 README.mdCPT多模态持续预训练→ SFT监督微调→ MPO离线RL→ GSPO在线RL很多团队做后训练时只选一种强化学习方式但各有短板只用离线 RL训练稳定、成本低但模型只能模仿已有的高质量样本学不到超越数据本身的东西容易见顶。只用在线 RL模型靠自己采样rollout来纠错上限高但冷启动阶段模型太弱采样质量差训练不稳定GPU 时间烧得飞快。Cascade RL 的思路是先易后难、粗到细coarse-to-fine第一阶段MPO 离线 RL当作热身赛用高质量偏好数据快速把模型拉到不错的水位同时保证收敛稳定第二阶段GSPO 在线 RL模型已经有了一定实力此时自己采样的 rollout 质量有保障在线 RL 才能高效地把输出分布进一步精调。官方在 README.md 中明确写道相比单一离线或单一在线 RL级联方案在一小部分 GPU 时间成本下取得了显著的性能提升。这个仓库的元数据也印证了这一点——README.md 的 front matter 标注base_model为OpenGVLab/InternVL3_5-14B-MPO说明当前 HF 权重正是在 MPO 阶段模型基础上继续微调而来。三、第一阶段MPO 离线强化学习——稳定收敛的热身赛 MPO 全名Mixed Preference Optimization混合偏好优化它的损失函数由三部分组成损失项来源通俗理解偏好损失 L_pDPO loss告诉模型这个答案比那个答案好质量损失 L_qBCO loss告诉模型什么是好答案该有的样子生成损失 L_gLM loss保住语言能力别把基本功练崩了三项损失加权求和相当于让模型在同时学比较、学质量、学表达三件事。离线 RL 的最大价值不在于直接刷分而在于为第二阶段准备好能打的初始模型——有了它后续在线采样才不会是一团乱麻。四、第二阶段GSPO 在线强化学习——用模型自己的答案精调 进入在线阶段后InternVL3.5 采用GSPO算法并且不加参考模型约束官方发现这对稠密模型和 MoE 模型都更有效。它的两个关键设计优势值Advantage对同一道题目采样 G 个回答奖励在全组内做归一化——比同组平均好的回答被鼓励比平均差的被抑制。这和 GRPO 的思路一致直观好理解重要性采样比率取逐 token 比率的几何平均而不是逐 token 单独裁剪。这样奖励信号是整句级别的训练更平滑特别适合长思维链输出。可以把它理解为MPO 教会模型什么题该怎么答GSPO 则让模型在反复自我对练中把每一步推理都磨得更稳、更准。五、组合拳效果为什么 MPOGSPO 明显更强 回到开头的问题答案可以浓缩成三点稳定性 上限兼得MPO 保证早期训练不翻车GSPO 提供超越离线数据的上限两者互补而不是互相拖累省钱在线 RL 最贵的地方是模型太弱导致采样浪费MPO 预热后在线阶段的每一步都更接近有效训练所以总 GPU 时间反而更少收益实在在 MMMU、MathVista 等推理基准上提升显著官方称整体推理性能最高提升 16.0%。为了便于研究复现团队还开源了各训练阶段的中间 checkpoint-Pretrained/-Instruct/-MPO/ 完整训练版完整对照表见 README.md。如果你不确定用哪个官方建议选不带任何后缀的完整训练版也就是本仓库这种最终形态。六、给使用者的实用建议 ✅加载方式HF 格式与官方 transformers 生态完全兼容用AutoModelForImageTextToText即可加载建议transformers4.52.1显卡预算30B 及以下的版本单张 A100 即可部署14B 属于单卡可跑的舒适区开启 Thinking 模式把系统提示设为官方 R1 风格模板并推荐do_sampleTrue、temperature0.6可有效缓解重复问题详见 README.md;体验入口仓库自带 examples/image1.jpg 这样的示例图可直接用于图文对话测试。七、总结InternVL3_5-14B-HF用一次双阶段 RL 接力回答了多模态后训练的经典难题离线 RL 负责稳在线 RL 负责高级联之后既快又强。MPO 的三损失混合目标打好地基GSPO 的组内归一化奖励与几何平均比率完成最后的精雕细琢——这就是它比单一 RL 方案强这么多的原因。对只想开箱即用的用户来说理解这套逻辑也有帮助你拿到的不只是一个 15B 的模型而是一条被级联强化学习完整打磨过的推理链路。赞分享【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载相关推荐InternVL3_5-8B-Flash训练管线全揭秘Cascade RL、MPO/GSPO与ViCO一致性学习InternVL3_5 8B Flash训练管线全揭秘Cascade RL、MPO/GSPO与ViCO一致性学习 InternVL3_5 8B Flash 是IsaacLab强化学习框架对比RSL RL vs SKRL vs RL Games性能测评IsaacLab强化学习框架对比RSL RL vs SKRL vs RL Games性能测评 还在为选择哪个强化学习框架而纠结吗本文将为你详细对比Isaac强化学习具身智能人工智能Isaac Lab强化学习实战RSL RL、SKRL、RL Games框架对比终极指南想要在机器人强化学习领域取得突破性进展吗Isaac Lab作为基于NVIDIA Isaac Sim构建的统一机器人学习框架为您提供了强大的RL算法支持。本指强化学习具身智能人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
