Qwen2.5-Omni Technical Report

文章主要内容总结Qwen2.5-Omni是一个端到端多模态模型，能够同时处理文本、图像、音频、视频输入，并实时生成文本和自然语音响应。其核心设计包括：多模态感知：采用分块处理的音频/视频编码器，结合TMRoPE时间对齐位置编码，支持长序列多模态数据的高效处理。双轨生成架构：通过Thinker（文本生成）和Talker（语音生成）分离设计，实现两种模态输出的无干扰协同。流式处理优化：引入滑动窗口DiT模型减少语音生成延迟，支持多模态输入的实时预处理。多阶段训练：通过文本、图像、视频、音频等多源数据预训练，结合指令微调提升综合能力。在评估中，模型在多模态理解（如OmniBench）、语音生成（WER指标）和跨模态指令遵循（MMLU、GSM8K）等任务上均达到SOTA水平。创新点TMRoPE时间对齐编码提出三维位置编码方法，通过动态时间戳同步音频（40ms/帧）与视频的时间序列，解决音视频对齐难题。Thinker-Talker架构将文本生成与语音生成解耦：Thinker负责语义理解和文本输出，Talker直接利用其高层表征生成流式语音，避免模态干扰。流式处理优化