📖标题：Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning🌐来源：arXiv, 2610.04918v1🛎️文章简介🔸研究问题：在多模态强化学习中，既然知道整个回答是对的，该如何公平且准确地把这份“功劳”分配给生成过程中的每一个Token，特别是那些依赖视觉证据的关键步骤？🔸主要贡献：提出了残差视觉信用优化（RVCO）方法，将Token信用分配视为一个受约束的路由问题，在保持总信用预算不变的前提下，实现了基于视觉依赖性的选择性、连续性和全支持信用分配。📝重点思路🔸构建视觉证据响应：通过控制视觉干预（如遮挡部分图像），对比原始图像和干预后图像下同一Token的对数似然变化，量化该Token对视觉证据的依赖程度，并转化为鲁棒的无尺度证据坐标。🔸预算化熵路由：引入熵正则化路由器，将固定的序列效用预算根据视觉依赖性分配给各个Token。这种机制让Token之间竞争有限的信用额度，而非独立打分，从而实现对关键视觉Token的重点关注。🔸残差全支持与精确守恒：为解决硬选择导致的不连续和软门控导致的总质量漂移问题，引入残差路径保证每个有效Token都有正信用，并通过解析校正公式精确恢复预设的信用总质量，确保优化几何的稳定性和有界性。🔎分析总结🔸性能提升显著：在Qwen、InternVL和Llama等多个模型家族及七种推理基准测试中，RVCO均优于现有的RLVR基线方法，平均准确率提升约1-2个百分点，且在长文本推理中优势更明显。🔸优化更加稳定：相比硬顶K选择，RVCO大幅降低了支持集闪烁和梯度方差，提高了信用连续性，使得训练后期更加稳定，同时保持了良好的抗视觉腐蚀鲁棒性。🔸组件缺一不可：消融实验表明，移除鲁棒坐标、预算路由、残差
