Video-R1: Reinforcing Video Reasoning in MLLMs

文章主要内容总结研究背景与目标本文针对多模态大语言模型（MLLMs）在视频推理任务中的不足，提出了Video-R1模型，旨在通过强化学习（RL）范式系统性提升模型的视频推理能力。现有方法在视频推理中面临两个核心挑战：缺乏时间建模能力和高质量视频推理数据稀缺。方法创新点T-GRPO算法提出时间增强的群体相对策略优化算法（T-GRPO），通过对比有序和随机打乱的视频帧序列推理结果，显式鼓励模型利用时间信息进行推理，避免依赖单帧捷径。混合数据集构建构建了两个数据集：Video-R1-COT-165k：用于监督微调（SFT）的冷启动，包含图像和视频的链式思维（CoT）注释。Video-R1-260k：用于RL训练，结合图像和视频数据，覆盖多领域推理任务（如数学、空间逻辑、知识问答等）。训练策略采用两阶段训练：首先通过SFT初始化模型，再通过T-GRPO进行RL训练，结合长度奖励机制平衡推理深度与简洁性。实验结果视频推理任务：在VSI-Bench（空间推理）、VideoMMMU（多学科知