Qwen3.8-Omni 的核心目标是让模型能够围绕音视频素材完成一套闭环任务读懂多媒体内容、规划执行方案、调用配套工具、核验输出结果再依据反馈持续迭代调整。这篇论文把模型训练体系、插件能力、实时调度框架整合在一起探索全模态大模型落地到工业业务链路的实现路径。三个层面的建设层面论文中的对应内容主要职责模型Qwen3.8-Omni-Flash理解文本、图像、音频和视频进行推理与工具调用音视频工具箱Qwen-MM-Plugins给智能体提供处理音视频的工具帮助它找片段、做笔记、剪视频和翻译配音实时运行系统Qwen-Live-Harness协调实时对话、后台任务、上下文与持久记忆相比前代模型在 29 项音频推理、视听推理和视听智能体评测中的平均分提升超过 25%按每小时内容估算音频与视听内容的 API 输入成本分别降低超过 98% 和 93%。模型架构信息怎样进入模型又怎样变成回答Thinker–Talker 的分工可以把这套架构理解为“理解与决策”和“语音表达”的协作Thinker综合多模态输入生成用于回答、推理和工具调用的文本。Talker直接接收 Thinker 的高层表示逐步生成语音编码。Code2Wav将语音编码还原为可以播放的声音。这里的高层表示是模型在理解上下文时形成的数值信息。Talker 可以利用这些信息与逐步生成的文本来组织语音表达。中央展示 Qwen3.8-Omni-Flash-Realtime 的模型核心外围展示上下文、记忆、工具、监测与子智能体。它是一张模型与运行系统的联合示意图。三个编码器提取三类感知信息编码器输入主要作用Vision Encoder图像、动态采样的视频帧提取视觉内容AuT普通音频包括从视频提取的声音提取语言与一般声学信息Spatial AuT多声道空间音频提取声源方向、距离和运动等空间线索视觉、普通音频和空间音频表示通过各自的模态适配器映射到 Thinker 的共享表示空间。文本则使用 Qwen3.8-Next 的字节级 BPE 分词器词表规模约为 25 万。普通音频的处理路径是重采样到 16 kHz转换为 128 个频带的梅尔频谱再送入 AuT。频谱使用 25 ms 窗长和 10 ms 步长四个 Conv2D 块将输入特征降采样 16 倍随后由时间自注意力层建模。AuT 最终以 6.25 Hz 输出表示即约每 160 ms 一个音频 token。这压缩了音频序列的时间长度为长音频处理提供了较紧凑的输入。普通音频经过 AuT空间音频通过可选的并行分支处理随后将两类表示结合。Spatial AuT 先将多声道音频表示为一阶 AmbisonicsFOA格式再处理各通道的复数短时傅里叶变换STFT保留实部和虚部。这样能够保留声道之间的幅度与相位关系而这些关系携带着空间线索。AuT 提取声音内容Spatial AuT 补充方向与运动线索。 两路表示经各自的适配器映射到同一嵌入空间再按时间对齐、交错排列成 token 序列交给 Thinker 联合理解。共享表示空间使不同输入能够进入同一个语言主干时间信息则帮助模型建立事件关联各模态表示按时间顺序组织保留显式的文本时间戳。同一时间片的空间音频表示共享时间位置索引同时保留不同的空间位置索引。模型因此能够结合“发生了什么”“什么时候发生”和相关空间信息进行推理。例如画面中的人转头、随后一侧传来声音可以通过时间线建立联系。Thinker 如何处理长上下文Thinker 使用 Qwen3.8-Next 的混合稀疏 MoE 主干将几种机制组合起来。稀疏 MoE 负责按需调用专家控制每个 token 的前馈计算量。 图中粉色的 MoE 模块位于 GDN、QSA 层内部。“专家”是模型中的神经网络模块每个 token 只激活其中一部分。这样可以扩大模型容量同时控制一次处理所需的计算。Gated DeltaNetGDN负责用固定大小的状态持续概括历史信息。 图中绿色层通过 GDN 按输入顺序整合 token 信息。处理新 token 时它更新已有状态像一份不断改写的内部笔记门控机制调节旧信息的保留程度和新信息的写入强度。这份状态的大小固定适合持续处理长序列。Qwen Sparse AttentionQSA负责选择并读取与当前 token 相关的上下文细节。 下图左侧的轻量索引器先给压缩后的内容块打分由 Top-k Selector 选出重点右侧的 Sparse Core Attention 再对所选块中的原始 token 计算注意力。可以理解为先通过目录找相关章节再阅读原文与 GDN 的概括式记忆互补。预训练的原生序列长度为 262,144 token即 256K模型在后训练之后扩展到 1M token。这两个阶段需要区分。预训练先接通感官再学会高效使用长上下文预训练分为四个阶段全部采用 256K 的原生序列长度。阶段注意力方式参数更新方式主要目标S1编码器对齐稠密注意力固定语言主干先训练适配器再训练编码器让视觉、普通音频与空间音频表示能够被语言主干利用S2通用训练稠密注意力全部参数解冻联合学习多模态内容和任务S3QSA 预热稠密注意力尚未启用 QSA固定主干训练 QSA 索引器学习怎样挑选相关内容块S4QSA 训练稀疏注意力QSA联合训练主干与索引器适应稀疏注意力模式对齐编码器与语言主干语言主干由 Qwen3.8-Next 初始化。训练使用图像与文本、单声道音频与文本、多声道音频与文本等配对数据分别对齐三个编码器。“冻结主干”意味着训练时保持其参数不变它仍参与计算。先对齐接口、再扩大优化范围可以理解为先让新接入的感知信息以主干能够利用的形式表达出来。这是对训练流程的直观解释。全参数多模态联合训练模型接着解冻全部参数用纯文本和图文、视频与文本、音频与文本、视频与音频等组合数据训练。音频包含单声道与多声道输入数据覆盖多种语言和方言。论文为这一阶段列出的规模如下T 表示万亿 token数据类别原文列出的规模文本1.1T音频0.7T图像0.35T视频0.15T视频与音频0.3T模型支持的语言与方言范围文本 201 种语音输入 113 种74 种语言与 39 种中文方言语音输出 36 种29 种语言与 7 种中文方言。从学习划重点到依靠重点完成任务第三阶段使用主干的全注意力分布监督 QSA 索引器。主干保持固定稠密注意力仍正常运行索引器先学习哪些上下文块值得选择。可以类比为老师完整阅读资料并提供关注模式让学生学习如何挑选重点。第四阶段才正式启用 QSA并联合优化主干与索引器。此时模型要在选择性访问上下文的条件下完成任务逐渐适应稀疏注意力模式。后训练整合专家能力再优化实际行为Thinker 的后训练包含多教师蒸馏和统一强化学习两个阶段。多教师蒸馏作者从预训练好的 Qwen3.8 基础检查点出发分别通过监督微调和强化学习训练领域专家覆盖通用指令、基础推理、编程、智能体任务、视觉理解和音频理解。这些专家生成各自领域的高质量训练轨迹再混合为统一的多模态训练数据训练一个学生模型。这个过程像让不同科目的老师提供示范再由一个学生整合所学。作者希望借此获得更强、更一致的监督并减少不同领域和模态之间的干扰。统一强化学习从蒸馏后的检查点出发作者在文本、视觉、音频和混合模态任务上统一进行强化学习兼顾任务正确性与交互质量。优化方向具体含义任务正确性推理、代码和操作取得正确结果回答质量回答准确、有帮助跨模态一致性用声音问和用文字问时表现都稳定自然语音交互对口语化提问作出合适回应多轮稳定性减少意外切换语言、角色设定偏移和指令遵循退化长流程执行根据任务结果与执行反馈判断完成情况智能体应用模型怎样把音视频变成工作成果论文给出了四组共九种应用。它们展示的是模型与工具协作的工作流。长视频理解与会议长视频理解采用按需搜集证据。 模型先根据问题制定分析计划再调用工具读取相关音视频片段由粗到细定位证据。必要时可让多个子智能体分别分析画面和声音。例如询问三小时发布会中某项决策的原因时模型可以先定位相关议题再细看附近片段必要时继续寻找补充证据。这使主智能体能够在有限上下文中处理数小时视频。会议纪要强调说话人、内容与视觉身份的联合理解。 模型划分发言、转写内容、对齐身份并利用画面消解音频中的指代歧义进而生成纪要、行动项和项目风险分析。论文称其原生支持最长一小时的音视频输入。接入智能体与工具后提取的行动项可以继续用于整理任务、发送邮件或按会议要求开展编程。内容创作Music-to-MV 先分析歌曲生成带时间对齐的歌词、全局音乐描述以及沿结构时间线组织的重要音乐事件。模型据此编写故事和分镜再检查生成镜头的视觉质量与计划一致性并通过插件组织成片。短剧翻译 由智能体协调角色感知的对白识别、语境翻译、角色一致的声音克隆与配音、音轨重混和质量评估。难点在于让角色声音、对白时长和画面节奏相互协调。长电影解说 先理解两到三小时电影的叙事结构、关键转折和人物变化再编排解说选择原片对白与画面组织旁白和背景音乐并根据场景调整叙述节奏和音量。从视频中提取研究、学习与操作知识Omni-Deep Research 将视频作为研究起点。模型提取主张、流程、参数、实体与未解决问题再检索网页、文档、图片和其他视频交叉核对后输出交互式报告。报告中的结论能够回链到原视频的相关时刻。Video-to-Note 重建教程的教学顺序提炼重点并为需要视觉说明的步骤选择关键帧。它还可以调整裁剪区域让按钮、操作位置或演示细节更清楚。Skill Creator 面向后续自动执行从演示中提取标准操作流程、工具用法、判断条件和关键经验再验证与评估所构建的技能。它希望把一次演示中的知识变成以后可重复调用的任务能力。自动研究案例改进四川话识别作者给出的任务是在 12 小时的时限要求下改进 Qwen2.5-Omni-3B 的四川话语音识别并交付可用模型。系统选择 WenetSpeech-Chuan 评测集固定评价标准并建立基线随后直接听音频、诊断错误、构造针对性训练数据执行训练与评估根据反馈保留有效改动并回滚无效尝试。作者报告系统经过 4 轮实验创建 3,413 条训练样本同一评测集上的字符错误率从 25.79% 降至 15.30%相对下降约 40.7%。评估能力进步体现在哪里评估分为通用与多模态能力以及全模态智能体能力。文本与视觉保持基础能力部分任务改善文本测试Qwen3.8-Omni-FlashQwen3.8-FlashSWE-bench Pro63.362.5CoWorkBench75.373.9DeepSWE 1.157.858.7SWE-bench Multilingual80.581.0这些结果支持模型保持了较强的文本与执行能力但不同任务有升有降。视觉方面AndroidWorld 得分为 87.1高于 Qwen3.8-Flash 的 84.5与此同时ERQA 和 RealWorldQA 略低于 Qwen3.8-Flash。音频多人处理是亮点普通转写仍有差距测试与指标前代 Qwen3.5-Omni-PlusQwen3.8-Omni-Flash方向AliMeetingDER88.13.4越低越好AliMeetingcpWER89.617.2越低越好LongAudioSpanAccuracy74.482.7越高越好MuLA-Bench61.0072.60越高越好FLEURS-ASRWER7.29.3越低越好DER 衡量说话人分段与归属错误cpWER 衡量按说话人组织的转写错误WER 是词错误率。多人语音识别和部分长音频理解改善明显。但 FLEURS-ASR、部分普通转写、翻译和语音交互指标仍有差距。视听联合相较前代改善与其他模型各有胜负视频推理方面相比前代OmniVideoBench53.8 → 63.4。Video-MME-v247.9 → 65.0。LVOmniBench53.2 → 63.3。不过在直接理解输入的设置下Gemini 3.8 Flash 在上述三项视频推理测试中仍然更高。多模态智能体执行评测Qwen3.5-Omni-PlusQwen3.8-Omni-FlashGemini 3.8 FlashWildClawBench-MM34.571.058.9UniClawBench67.169.669.0AgenticVBench14.536.845.0OmniGAIA57.274.078.6新模型在四项测试中都超过前代与 Gemini 相比分别领先两项。WildClawBench-MM 和 AgenticVBench 使用 Claude CodeUniClawBench 使用 OpenClawOmniGAIA 不使用外部智能体框架。这些分数体现的是模型在指定执行条件下的能力。核心实验主动找证据是否有用测试要求模型根据视频及其音轨回答理解与推理问题。难点在于相关线索可能分散在多个片段中需要结合画面、声音和前后事件进行判断。作者将直接理解输入的 Static 模式与通过 Qwen Code 规划、调用工具和逐步核验证据的方式对比。两种设置都用于 Qwen 和 Gemini。评测QwenStaticQwenQwen CodeGeminiStaticGeminiQwen CodeOmniVideoBench63.467.865.270.1Video-MME-v265.071.371.072.7LVOmniBench63.373.670.770.7Qwen 在三项测试中都提高了LVOmniBench 的增幅达到 10.3 分并超过 Gemini另外两项仍由 Gemini 领先。在 OmniVideoBench 上作者还报告了 token 消耗指标StaticQwen CodeAccuracy63.467.8每个问题的 token 数145,73679,117在保留跨轮上下文的智能体设置中token 消耗减少约 45.7%同时得分提高。这个结果支持按需获取证据的价值。实时交互把快速对话与后台执行连接起来围绕声音质量、响应速度和实际任务执行设计 Qwen3.8-Omni-Flash-Realtime 与 Qwen-Live-Harness。Talker 怎样学会自然表达Talker 用多层数字编码描述每小段声音RVQ再通过多 token 预测MTP补充声音细节。ARIA 协调文字和声音的生成进度让模型可以边生成回答边说话Code2Wav 则把编码逐段还原成可播放的声音。解码器还将波形重建的采样率从 24 kHz 提升到 48 kHz以改善高频细节。训练分五步推进先学习生成语音再加入复杂对话学习结合语境表达随后通过多教师蒸馏MOPD吸收不同语言专家的能力再微调目标说话人的声音特征。最后先让 Thinker 的表现更符合人类偏好再根据它提供的奖励信号用强化学习算法 GSPO 改进 Talker。流式生成怎样缩短等待Thinker 分块处理输入并逐步生成输出Talker 接收流式输出生成语音 tokenCode2Wav 再逐块生成声音。前一部分的语音可以在完整回答生成之前送出。例如回答的前半句已经形成时系统可以开始生成这部分声音同时继续处理后续内容。它利用的是各阶段能够消费部分结果的流水式协作。指标纯音频输入音视频输入首段文字返回时间 TTFT约 0.59–0.62 秒约 0.84–0.98 秒首段音频返回时间 TTFC约 0.98–1.03 秒约 1.21–1.35 秒总体文字吞吐量约为 81–85 token/秒音频生成实时因子 RTF 约为 0.153对应约 6.5 倍实时生成速度。RTF 按首个到最后一个音频块之间的时间除以生成音频长度计算不包含初始等待。Qwen-Live-Harness 的三类能力异步执行与子智能体委派。 前台继续对话后台通过统一适配接口调用 Qwen Code、Codex、Claude Code 等后端执行任务。进度与结果异步进入对话上下文并由前台适时播报。打断当前语音不会取消已委派任务实时通话结束后后台任务仍可继续。主动交互。 用户可以定义基于音频、画面或时间的条件。独立实时会话负责监测并产生文字事件报告前台在合适时机转成语音通知。冷却时间和连续检测抑制用于减少重复提醒。持久记忆。 框架结合对话记录、显式工作记忆和筛选保留的用户事实将可复用信息整理进持久档案通过关键词搜索和可选的向量匹配检索。启用视觉记忆时保存从画面提取的文字观察记录。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。
