人工智能大模型多模态微调计算机视觉【免费下载链接】TimeLens2-4B-SFT项目地址https://ai.gitcode.com/MCG-NJU/TimeLens2-4B-SFT点击查看免费下载TimeLens2-4B-SFT 是一款专为视频时间定位Temporal Grounding微调的多模态大模型检查点给它一段视频和一句自然语言查询它就能返回视频中包含目标视觉证据的全部时间区间非常适合新手快速上手视频内容检索与剪辑分段。TimeLens2-4B-SFT 是什么一句话概括它是一个视频 问题 → 时间段集合的问答模型由 Qwen3-VL-4B-Instruct 初始化并经过长上下文时间定位监督微调SFT而来。它的核心能力来自训练数据README.md 中说明SFT 使用了 TimeLens2-93K、TimeLens-100K 以及官方 Ego4D-NLQ-v2 训练集并且监督的是可变数量的时间区间集合——也就是说同一个查询可能命中视频里多处片段模型会一次性全部给出。 几个关键规格直接决定你能用它做什么能力项规格说明基座模型Qwen3-VL-4B-Instruct4B 参数规模单卡即可推理上下文长度最长 100K token 训练、262144 位置上限可处理长视频完整上下文视频采样2 fps、最多 768 帧见 video_preprocessor_config.json权重结构语言模型 视觉编码器 投影器索引见 model.safetensors.index.json生成参数temperature 0.7 / top_p 0.8 / top_k 20见 generation_config.json⚠️ 注意这是一个SFT 检查点是后续 GRPO 强化训练的起点并非 TimeLens2 论文中报告的最终发布版本。用于研究和训练复现非常合适商用前建议对比评估。一键下载与加载最快上手步骤模型托管在 Hugging Face 的数据集仓库中先下载到本地再用 Transformers 加载整个目录即可完整说明见 README.mdfrom huggingface_hub import snapshot_download from transformers import AutoModelForImageTextToText, AutoProcessor model_dir snapshot_download( repo_idMCG-NJU/TimeLens2-4B-SFT, repo_typedataset, ) model AutoModelForImageTextToText.from_pretrained( model_dir, torch_dtypeauto, device_mapauto, ) processor AutoProcessor.from_pretrained(model_dir)如果下载不便也可以直接通过仓库手动获取模型目录git clone https://gitcode.com/MCG-NJU/TimeLens2-4B-SFT目录中的关键文件分工model-language-0001-others-save_rank0.safetensors语言模型权重分两片保存model-vision-0001-others-save_rank0.safetensors视觉编码器权重model-projector-0001-others-save_rank0.safetensors视觉-语言投影层权重config.json模型结构配置Qwen3-VL 架构bf16chat_template.jinja对话模板定义了视频与文本消息的组织方式加载时会自动按 chat_template.jinja 把video视频占位符与你的查询文本拼装进提示词因此查询就是一句普通自然语言不需要任何特殊格式。场景1长视频中定位动作发生的时间这是时间定位最典型的应用——在一段几十分钟的视频里回答某动作何时发生。示例查询找出视频中篮球运动员完成扣篮的所有片段。模型返回示意一段或多段时间戳如[03:42.1, 03:44.8]。 要点优先选择可视觉验证的动作扣篮、进球、碰撞、开门避免他心情不好这类无法从画面直接判断的描述。动作越具体区间越准运动太宽泛倒钩射门就清晰得多。场景2第一人称日常视频的事件检索Ego4D 风格训练数据包含 Ego4D-NLQ-v2 官方训练集因此该模型对第一人称Ego日常视频的查询理解是原生强项适合做个人视频库的事件搜索。示例查询我什么时候把杯子放进洗碗机适用形式家庭录像、Vlog、第一人称记录仪视频。查询可以直接用我做了什么的口语化表达模型在微调时已见过大量此类指令。场景3一次查询返回多个时间区间很多定位任务的答案不止一处。TimeLens2-4B-SFT 的监督目标就是变基数时间区间集合所以你可以放心使用开放式提问示例查询列出所有出现红灯特写的片段。模型返回示意[00:12.0, 00:14.5], [07:51.2, 07:53.0], [15:02.4, 15:05.1] 技巧查询中用所有 / 每一次 / 全部等词明确表达可能多处出现的意图有助于模型返回完整集合而非只给第一段。场景4视频剪辑与素材分段工作流把时间定位接到剪辑流程里可以自动完成粗剪对整段长视频提出主题查询如展示产品包装的所有镜头模型输出时间段列表用剪辑软件按时间戳批量切片得到素材片段。适合任务活动录像拆条、课程视频按知识点分段、直播录像提取高光时刻。长视频无需预切分——得益于 100K token 级别的长上下文训练模型可以直接看到完整视频上下文。场景5复现训练流程与生成强化学习数据如果你是研究者这个 SFT 检查点的另一个官方用途是训练流水线复现见 README.md 的 Intended use 部分作为 TimeLens2 GRPO 阶段的 off-policy rollout 生成器复现或扩展SFT → GRPO两阶段训练流程研究强化学习之前的长上下文视频时间定位行为。训练配方也可从 README 中直接查到单 epoch、打包序列最长 100K token、全局 batch size 256、学习率 5e-6训练期间视觉编码器保持冻结。查询技巧让时间定位更准的 5 个方法给查询加视觉锚点把抽象描述换成画面里能直接看到的元素。对比他做饭的时间模糊→他在灶台前翻炒锅里的鸡蛋的时间有动作 有物体。一句话只问一件事复合问题他先开门再倒水的时间容易让模型混淆拆成两次单目标查询再把结果合并稳定得多。用生成参数做精调默认参数generation_config.jsontemperature 0.7、top_p 0.8、top_k 20适合常规使用如果同一查询反复在边界时间上抖动把 temperature 降到 0.5 左右可提升结果一致性。留意视频采样参数模型默认按 2 fps 抽帧、最多 768 帧video_preprocessor_config.json。秒级以下的快速事件可能定位偏粗对关键片段建议二次截取验证。交叉验证关键片段对同一片段换一种措辞再查一次例如扣篮与球员将球砸进篮筐两次查询命中的区间交集可以显著提高置信度。常见问题Q这个模型和 TimeLens2-4B 正式版有什么区别A本仓库是监督微调SFT检查点属于 GRPO 强化学习之前的中间产物性能指标以 TimeLens2 论文和正式版为准见 README.md 说明。Q能处理多长的视频A语言侧支持 100K token 训练上下文config.json 中max_position_embeddings为 262144视频侧受 768 帧上限约束约对应 2 fps 下 6 分钟以上的完整帧覆盖更长视频需控制分辨率与帧预算。Q显存大概需要多少A4B 参数、bf16 精度单张 24GB 级别显存的消费级显卡即可加载推理device_mapauto可自动分配。总结TimeLens2-4B-SFT 把用一句话找到视频里想要的那几秒这件事变得非常直接下载检查点、加载模型、输入自然语言查询即可获得一个或多个精确时间段。无论是长视频事件检索、第一人称日常视频问答、多区间召回、剪辑分段还是复现 SFT→GRPO 训练流程它都能提供一个开箱即用的起点。建议从场景 1 的单动作查询练手再逐步使用本文的查询技巧处理更复杂的检索需求。赞分享人工智能大模型多模态微调计算机视觉【免费下载链接】TimeLens2-4B-SFT项目地址https://ai.gitcode.com/MCG-NJU/TimeLens2-4B-SFT点击查看免费下载相关推荐如何衡量视频时序定位精度Ego4D-NLQ基准下的TimeLens2-8B-SFT评测实战如何衡量视频时序定位精度Ego4D NLQ基准下的TimeLens2 8B SFT评测实战 TimeLens2 8B SFT 是一个用于 视频时序定位 Te人工智能大模型多模态微调视频永久保存微信聊天记录WeChatMsg让你的数字记忆永不丢失永久保存微信聊天记录WeChatMsg让你的数字记忆永不丢失 你是否曾担心那些珍贵的微信对话会随着手机更换或系统更新而永远消失与家人朋友的温馨对话、工作群中人工智能大模型多模态微调计算机视觉3步加载TimeLens2-8B-SFT视频时序定位快速上手终极教程3步加载TimeLens2 8B SFT视频时序定位快速上手终极教程 本文为 TimeLens2 8B SFT 的完整快速上手指南带你用 3 步 完成这个视人工智能大模型多模态微调视频上一篇终极修复指南让Obtainium的RuStore功能从崩溃到流畅运行下一篇5步掌握开源AI蛋白质预测Protenix实战完全指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
