5B小模型何以超越GPT-5.2Youtu-Parsing-Omni多模态解析能力对比分析Youtu-Parsing-Omni 是腾讯优图实验室开源的 5B 参数多模态解析模型它把文档页、自然图像、图表、流程图、几何图、音频、视频统统转换成一套结构化 JSON覆盖排版、文本、表格、公式、时间戳、ASR 等感知结果。在权威基准 OmniDocBench v1.6 上这个 5B 小模型以96.96 的综合分击败了 GPT-5.2 的86.59也超过了 Gemini-3-Pro92.91和 235B 的 Qwen3-VL89.78——小模型赢下大模型究竟靠什么本文带你逐项拆解。能力总览8 类输入一套结构化 JSON 输出 与传统的只认字OCR 不同Youtu-Parsing-Omni 是全模态Omni解析无论输入什么模型都输出同一个 JSON 信封OmniSchema里面同时包含感知层位置框、文本、时间戳、说话人和认知层标题、叙述、报告。输入类型任务参数--task输出关键内容文档页document排版元素 bbox、文本 / LaTeX 公式 / 表格 / Markdown 图表、阅读顺序自然图像natural_image实体与文本框、标签、标题、全局描述统计图表graphics_chartMarkdown 表格、注释、图注流程图graphics_flowchartMermaid 代码、图注几何图形graphics_geometric点、线、弧、形状与几何关系音频audio分段时间戳、说话人、ASR、声学事件自然视频natural_video视觉元素、动作、镜头运动、音轨富文本视频textrich_videoOCR ASR 全片 Markdown 报告坐标使用 0–1000 网格的专用 token 编码如boxx_85y_275.../box时间戳为HH:MM:SS格式方便下游程序直接消费。实测对比OmniDocBench 上 5B 小模型如何碾压 GPT-5.2 OmniDocBench v1.6 是文档解析领域公认的竞技场指标越高越好编辑距离类越低越好模型参数量Overall ↑Text Edit ↓Formula CDM ↑Table TEDS ↑Reading Order Edit ↓Youtu-Parsing-Omni5B96.960.027196.8096.7998.20 /0.1104TeleOCR1.2B96.910.026796.5996.8298.18 / 0.1184OvisOCR20.8B96.470.026597.4994.5896.98 / 0.1120Gemini-3-Pro闭源92.910.064095.9989.1592.96 / 0.1650Qwen3-VL-235B235B89.780.063092.5583.0786.75 / 0.1660GPT-5.2闭源86.590.114088.2182.9587.93 / 0.1930几个值得注意的点参数量差 40 倍以上分数反超GPT-5.2 是闭源旗舰编辑距离类指标越低越好差距尤其明显——文本 0.0271 vs 0.1140阅读顺序 0.1104 vs 0.1930。不只是文档强在覆盖图表、几何、音频、视频的全模态基准 OmniParsingBench 上它以75.08 平均分成为最佳开源权重模型仅次于 Gemini-3-Pro77.44其中图表解析95.02和音频78.08两项拿到全场最高。部署成本友好5B 规模意味着单卡可跑配合官方 vLLM 插件即可对外提供 OpenAI 兼容接口。核心技术拆解小模型取胜的三板斧 结合 README.md 的技术部分优势来自三处设计1. 单编码器替代双塔结构传统全模态方案用两套独立预训练的视觉/音频塔信息要到语言模型里才汇合。Youtu-Parsing-Omni 用一个Youtu-Omni-Encoder统一处理图像、音频和音画交错视频并从预训练文本语言模型初始化以强化文字阅读能力几乎全部感知参数跨模态共享。模型结构定义见 modeling_youtu_vita.py超参数配置见 config.json——文本解码器为 40 层、隐层 2560Omni 编码器 28 层。2. 音视频在编码器内部对齐视频帧与音频块按时间顺序打包少数融合层video_fusion_layer_freq见 config.json在每个音频→帧边界开启新注意力窗口让画面帧直接关注同一时刻的声音视觉与音频 token 共享一套(t, h, w)位置编码跨模态对齐在感知阶段就完成而不是靠解码器事后重建。3. OSAD统一 Schema 驱动的自进化蒸馏10 类解析任务共用 OmniSchema经过 SFT 和按 schema 路由的 RLVR 后再用OSADOmniSchema-Aware On-Policy Distillation做后训练学生模型自己采样解析结果通过 JSON 合法性、schema 符合度等准入检查后由一份冻结的参考解析可见版本打分每个训练轮结束把 LoRA 适配器合并学生升级为新教师——解析器与监督信号共同进化无需手工设计奖励函数或单独训练教师模型。专项解析能力化学结构式与乐谱识别 ✅通用大模型往往样样通样样松Youtu-Parsing-Omni 在两个高难度专项上打平了专业模型ChemOCR 化学结构识别Tani1.0 越高越好模型类别Avg. Sim. ↑Tani1.0 ↑DeepSeek-OCR 2通用解析 MLLM74.949.6Youtu-Parsing-Omni统一解析 MLLM74.654.2GPT-4o闭源通用 MLLM36.83.4Qwen2.5-VL-7B开源通用 MLLM25.50.4PDMX-Synth 乐谱识别CER 字符错误率越低越好模型类别CER ↓SER ↓Youtu-Parsing-Omni统一解析 MLLM22.7326.73LEGATO专业 OMR 模型23.3025.80GPT-5.6闭源通用 MLLM45.0254.74Gemini-3-Pro闭源通用 MLLM54.2668.10一个 5B 通用解析模型在乐谱字符错误率上优于专用 OMR 模型 LEGATO约为 GPT-5.6 的一半——这就是统一架构 专项数据的复利效应。快速上手vLLM 一键部署与 8 种解析任务 环境要求Python ≥ 3.10、CUDA GPU、音频/视频输入需要ffmpeg。第一步获取代码并安装git clone https://gitcode.com/tencent_hunyuan/Youtu-Parsing-Omni # 模型权重目录包含 model.safetensors 与全部推理代码注意vLLM 服务环境transformers5.2.0与 Transformers 推理环境transformers5.10.2请分开安装到两个 Python 环境。第二步启动 OpenAI 兼容服务MODELtencent/Youtu-Parsing-Omni DATA_ROOT/path/to/media GPU0 bash scripts/vllm.sh服务默认监听http://127.0.0.1:8000/v1DATA_ROOT是服务器唯一可读的媒体目录安全沙箱。第三步任选 8 种任务发起解析python examples/infer_vllm.py --task document --media /path/to/page.png python examples/infer_vllm.py --task graphics_chart --media /path/to/chart.png python examples/infer_vllm.py --task audio --media /path/to/speech.wav python examples/infer_vllm.py --task textrich_video --media /path/to/lecture.mp4调用时注意两个细节媒体消息要放在文本之前并开启解析模式chat_template_kwargs {enable_thinking: false, enable_parsing: true}模板见 chat_template.jinja解码用贪心策略、保留承载坐标的特殊 token。仓库文件导览 ️想深入源码的读者可以从这几个入口切入modeling_youtu_vita.py模型主体含 Omni 编码器、音频 CNN 编码器、文本解码器modular_youtu_vita.py模块化实现理解各组件组装方式的好材料processing_youtu_vita.py / video_processing_youtu_vita.py图像、视频与多模态输入处理器tokenization_youtu_vita.py / tokenizer.json含坐标与时间戳专用 token 的词表feature_extraction_youtu_vita.py音频特征提取log-mel 前端config.json模型超参数omni_config中可看到 28 层编码器与融合层配置总结为什么是解析而非识别 回到标题的问题5B 小模型超越 GPT-5.2 的关键不在参数规模而在为解析而生的统一架构——单 Omni 编码器让所有模态共享感知参数统一 OmniSchema 让 8 类任务共用一套监督信号OSAD 自进化蒸馏让模型与评价标准同步升级。对新手而言这意味着你不需要拼凑OCR 表格识别 公式识别 ASR多套工具链一个模型、一条 JSON 就能拿全文档、图表、音频、视频的结构化结果。如果你正在做知识库、RAG 数据预处理或内容结构化这个 5B 小模型值得放进你的技术清单。完整基准数据、安装细节与 API 请求示例见仓库 README.md。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
