【免费下载链接】InternVL3_5-241B-A28B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-MPO点击查看免费下载InternVL3_5-241B-A28B-MPO是开源多模态大模型 InternVL3.5 系列中完成了MPOMixed Preference Optimization混合偏好优化训练阶段的旗舰版本。本文将用通俗的语言拆解它的DPO BCO LM 三损失设计原理三个损失函数分别解决什么问题、为什么必须组合使用以及这个 MPO 版本在整个训练流水线中处于什么位置 MPO 在 InternVL3.5 训练流水线中的位置InternVL3.5 的后训练并非一步到位而是一条多阶段流水线。MPO 版本对应的正是其中的前三段阶段名称作用①CPT多模态持续预训练用大规模文本 多模态语料扩充能力②SFT监督微调32K 上下文指令微调注入思考模式能力③MPO离线 RL混合偏好优化本文主角④GSPO在线 RL模型自采样 rollout 在线精调MPO 属于Cascade RL级联强化学习的第一阶段先用离线 RL 做高效预热拿到满意的结果后再由在线 RL 的 GSPO 精修输出分布。官方说明见 README.md 与 README.md#L179-L183。 简单理解MPO 就像考前突击——用现成的偏好数据集快速把模型拉到高位为后续在线 RL 打好底子GPU 成本远低于纯在线训练。三损失公式DPO BCO LM 各自负责什么MPO 的总训练目标是三个损失的加权和原文公式见 README.md#L187-L201$$ \mathcal{L}{\text{MPO}} w{p}\mathcal{L}{p} w{q}\mathcal{L}{q} w{g}\mathcal{L}_{g} $$其中 $\mathcal{L}{p}$、$\mathcal{L}{q}$、$\mathcal{L}{g}$ 分别对应DPO 损失、BCO 损失、LM 损失权重 $w{*}$ 控制各自占比。L_pDPO 偏好损失——学会选更好的回答DPODirect Preference Optimization是偏好学习中最经典的离线算法。它利用成对数据同一个问题下的较好回答 vs 较差回答训练模型提升好回答的生成概率、压低差回答的生成概率。特点只关心相对好坏不需要显式奖励模型训练稳定、数据利用效率高。L_qBCO 质量损失——学会分辨绝对好坏BCOBinary Classification Optimization对回答质量做二分类式监督给模型一个绝对质量信号。为什么需要它DPO 只看相对偏好模型可能只学会在两个都不错的回答里挑一个却缺乏对什么是真正高质量的回答的标尺。BCO 补上了这根标尺。L_gLM 生成损失——守住语言能力的基本盘LM Loss就是标准的下一词预测Next Token Prediction损失即普通的语言建模目标。为什么偏好优化里要加它只做偏好学习容易带来分布漂移——模型在讨好评委的过程中可能遗忘基础语言能力出现表达退化、格式错乱。LM 损失相当于锚让模型在优化偏好的同时保持生成质量不退化 ️一张表看懂三角色分工损失角色解决的问题类比DPO偏好损失 L_p相对偏好学习这两道答案选哪道BCO质量损失 L_q绝对质量感知这道答案本身值多少分LM生成损失 L_g防止语言退化别丢了基本盘三者互补DPO 管方向、BCO 管标尺、LM 管底线。为什么是混合单用 DPO 的局限只用 DPO 时模型收到的信号只有相对偏好存在两类常见隐患质量锚缺失偏好对都偏差不大时模型难以分辨都好与都差的区别提升天花板受限能力漂移没有语言建模约束长训练后可能牺牲通用表达能力换偏好分数。MPO 的混合Mixed正是针对这两点BCO 提供质量锚LM 提供能力约束DPO 提供偏好梯度三者按权重协同使离线阶段收敛更稳、提升更实。这也是 InternVL2.5-MPO 一脉相承的思路在 InternVL3.5 的 241B 级 MoE 模型上继续验证有效。仓库文件结构速览241B MoE 权重如何拆分本仓库是模型权重 自定义推理代码。结合 config.json 可看出关键架构信息语言模型Qwen3MoeForCausalLM即 Qwen3-235B-A22B MoE94 层、每层128 个专家、每次激活 8 个config.json#L67-L69视觉编码器InternViT-6B448px45 层patch14config.json#L121-L209总参数 240.7B激活约 28B命名中 A28B 的含义。权重按层拆分存放便于按张量并行切分文件内容说明layer-0-ep-0-of-1.safetensors ~ layer-93各 Transformer 层权重含 MoE 专家共 94 个层文件ep表示专家并行分片vision.safetensorsInternViT-6B 视觉编码器5.5B 视觉参数others.safetensors嵌入层、mlp1 投影等张量索引见 model.safetensors.index.json张量到文件的完整映射可在 model.safetensors.index.json 中查到共约 3.75 万个张量。MPO 版本的能力特色思考模式与工具 tokenMPO 阶段保留了 SFT 注入的完整能力集从 added_tokens.json 可以看到一批特殊 token思考模式think/think标签——开启深度推理工具调用tool_call、tool_response、function等支持 Agent 场景视觉定位box、quad、ref坐标框 tokenSVG 生成svg相关 token。推理时使用内置的internvl2_5对话模板conversation.py#L382-L391模型入口为 modeling_internvl_chat.py 中的InternVLChatModel其中 Qwen3 MoE 语言模型的接入逻辑见 modeling_internvl_chat.py#L79-L80。如何加载与部署 MPO 模型以 transformers 加载为例241B 需要 8 卡 A100 级别显存device_mapauto自动分片from transformers import AutoTokenizer, AutoModel import torch path OpenGVLab/InternVL3_5-241B-A28B-MPO model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto).eval() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)开启思考模式时建议设置do_sampleTrue且temperature0.6以避免重复。更多用法LMDeploy、vLLM 部署详见 README.md。MPO 版、Instruct 版与完整版的区别不知道选哪个版本InternVL3.5 家族对每个尺寸都开放了不同训练阶段的权重版本后缀训练进度适合场景-Pretrained仅 CPT研究 / 继续预训练-InstructCPT SFT常规对话、指令跟随-MPO本文主角CPT SFT MPO需要偏好对齐、又尚未做在线 RL 的科研场景无后缀如 241B-A28B完整 CascadeRL生产使用推理能力最强 一句话选型不确定就用无后缀的完整版MPO 版适合研究 MPO 本身、复现偏好优化效果或作为在线 RL 的起点。常见问题 FAQQ1MPO 和 PPO/GRPO 这类在线 RL 有什么区别MPO 是离线偏好优化训练数据预先备好偏好对 质量标注无需在线采样收敛快、成本低在线 RL如 GSPO则用模型自己的 rollout 持续精调。InternVL3.5 采用先 MPO 后 GSPO的级联策略兼得两者优点。Q2三损失的权重 w_p、w_q、w_g 是多少具体数值属于训练超参细节仓库未随权重公开技术细节可参考 README 引用的论文arXiv:2508.18265。Q3MPO 版本可以直接做微调起点吗可以。MPO 已完成偏好对齐在其上做领域 SFT 或继续 RL通常比从 Instruct 版起步的偏好质量上限更高。Q4A28B 是什么意思MoE 总参数约 240.7B但每个 token 只激活约 28B 参数128 专家选 8所以推理成本接近 28B 稠密模型这是它能在开源模型中保持 SOTA 效率的关键。总结InternVL3_5-241B-A28B-MPO 是 InternVL3.5 级联强化学习流水线的离线 RL 里程碑DPO 偏好损失给出优化方向BCO 质量损失提供绝对质量标尺LM 生成损失锁住语言能力底线三损失加权组合MPO配合 Qwen3-235B MoE InternViT-6B 的架构为后续 GSPO 在线精调打下高质量起点最终支撑 InternVL3.5 在 MMMU、MathVista 等推理基准上 16.0% 的整体提升。如果你正在做多模态模型的偏好对齐研究这套DPO BCO LM的混合损失设计是非常值得借鉴的配方 ✅赞分享【免费下载链接】InternVL3_5-241B-A28B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-MPO点击查看免费下载相关推荐深度解析MPO混合偏好优化InternVL3_5-30B-A3B-MPO用DPOBCOLM三损失实现稳定对齐深度解析MPO混合偏好优化InternVL3_5 30B A3B MPO用DPOBCOLM三损失实现稳定对齐 InternVL3_5 30B A3B MPMPO混合偏好优化原理深度解析InternVL2_5-78B-MPO的DPOBCOSFT三重损失MPO混合偏好优化原理深度解析InternVL2_5 78B MPO的DPOBCOSFT三重损失 InternVL2_5 78B MPO 是 OpenGVInternVL2_5-38B-MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解InternVL2_5 38B MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解 InternVL2_5 38B MPO 是 Op创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
