这周的论文列表又有一眼就能看出分量的大新闻。先说热度最高的两条主线一条是视频生成方向Vidu S2把数字人和视频编辑做到了实时720P的水平另一条是LLM预训练方向NCP-ArchPreview这个工作直接冲着“预训练太贵、试错成本太高”的痛点去尝试在隐空间里做架构预览。这两篇一个偏应用落地一个偏底层基建放在同一周出现很能代表当下AI圈子的双重节奏一边拼命把生成效果推向实时可用一边拼命把训练成本往下压。我花了两个晚上把相关的论文、技术博客和社区讨论都过了一遍这篇周报就把这两篇重点论文拆开揉碎讲清楚同时把本周值得顺手翻一翻的其他方向也梳理出来。如果你也在做视频生成、多模态或者大模型训练相关的事情这周的paper值得认真看。1. Vidu S2实时720P数字人把视频生成从“等几分钟”变成“边说边出画面”Vidu系列在视频生成里一直属于第一梯队这次S2版本的核心卖点非常明确实时、720P、数字人、视频编辑。这四个词放在一起意思完全不一样了。1.1 实时数字人的技术门槛为什么之前的方案总差点意思数字人技术其实不新鲜但市面上大多数可用的方案都停留在“离线生成”阶段。你要让一个数字人说一段话先得把音频扔进去等上几十秒甚至几分钟才能出来一段视频。720P分辨率下这个过程更慢因为每一帧都是高分辨率图像扩散模型每去噪一步都要过一次完整的网络一秒钟视频至少得生成24帧离线渲染一条两分钟的视频背后的计算量是相当可观的。那S2说的“实时”到底是什么概念我做了一个粗略的估算来帮助理解一段60秒的720P视频按25fps就是1500帧。离线方案通常需要先全量生成再统一编码单段视频耗时可能是实际时长的5到10倍也就是5到10分钟。实时方案必须把单帧生成时间压缩到40毫秒以内才能匹配25fps的播放节奏同时还要留出余量给音频特征提取、口型同步、画面增强这些环节。从工程路径来看实时视频生成基本有两条主流方向一是模型蒸馏加一致性采样把原来需要20到50步的扩散采样压缩到1到4步大幅降低单帧推理时间二是设计更轻量的生成网络比如在注意力机制上做窗口限制、在时间维度上做分层建模减少冗余计算。S2能做到720P实时大概率是这两条路同时走单纯靠哪一边都很难撑住这个分辨率下的流畅度。实时交互还有个容易忽略的难点——口型和声音的同步精度。离线生成的时候你可以在生成完成后整体检查发现口型对不上就重新生成一段延迟高一点无所谓。到了实时场景语音是一边说话一边进来的模型必须要边接收音频特征边出画面这就意味着你需要一套能低延迟对齐的流式推理方案。如果内部没有一个好的时间对齐机制画面就会比声音慢半拍观众一眼就能看出来。1.2 数字人技术拆开看语音、口型、表情、时序一个都不能少数字人生成技术发展到现在业界已经有一套比较明确的模块拆分方式。我按自己的理解整理了一下一个可用的数字人系统基本要处理这样几个子任务语音特征提取从输入音频中提取音素、节奏、情感等特征。口型同步根据音频特征生成对应的唇部运动这是数字人“像不像”的关键。面部表情与头部姿态让数字人有自然的微表情和头部动作而不是僵硬地站在那里说话。时间一致性保证连续帧之间面部结构不漂移、不闪烁身份特征稳定。传统方案大多是流水线式的先用语音模型提取特征再单独跑一个口型同步模块最后用图像生成模型把脸渲染出来。这种方案的好处是每个模块都可以单独调优坏处是误差会累积——语音特征提取错了后面口型再怎么对齐也是错的。而且模块之间通常有信息丢失表情、口型、姿态各自为战最终生成的数字人看起来总有一种“拼凑感”。S2如果是在一个统一的生成模型里完成这些任务那它走的就是端到端路线相当于把语音特征直接作为条件输入到视频生成模型中让模型自己学会音频和视觉之间的映射关系。这样做的好处是表征统一口型、表情、姿态由同一个模型联合优化生成效果更自然。代价是对模型容量和数据量的要求都很高这也是这类统一方案此前很难做到实时720P的直接原因。用个生活化的类比以前的数字人像是拍完配音再后期合成的译制片嘴型和声音总有点对不上端到端实时方案则像是记者现场直播连线导演听到一句话画面几乎是同步就出来了。1.3 视频编辑和数字人放进同一套框架意味着内容生产流程要变S2另一个值得关注的能力是视频编辑。如果说数字人是在“无中生有”那视频编辑就是“定向微调”给你一段已有的视频让你改口型、改台词、改局部动作而视频里的人物、场景、光线都要保持原样。这比纯生成难一个等级。视频编辑难在哪核心在于你既要相信模型去改东西又要限制它别改过头。指令是“把这个人说的话换成另一句”但人物的脸、服饰、背景、镜头运动都必须保持原样。早期方案通常用区域mask把要改的部分圈出来重新生成但mask边缘容易出瑕疵而且mask管不住时序前一帧改了后一帧没跟上画面就会闪。现在比较被认可的做法是在注意力机制上做文章。扩散模型生成每一帧时内部有自注意力层在建立“这个帧里的这个区域和另外的区域是什么关系”如果你能在编辑时把原始视频的一些注意力信息作为参考注入进去就可以做到“只改该改的不动不该动的”。S2把数字人生成和视频编辑放在同一套框架里说明这两种能力共用的是同一个内部表征——生成数字人的时候模型知道“人说这句话时嘴应该怎么动”编辑视频的时候它只要把新台词作为条件输入就能在锁定身份和背景的同时把口型替换掉。这个能力对内容生产的影响是直接且巨大的。以前拍一条带货视频口播说错了就得重新拍或者后期花大量时间用传统工具抠图修口型。现在你只需要一段原始素材用模型把台词改掉、把口型对齐画面里的这个人还在说原来的话嘴里吐出来的却完全是另一套内容。短视频、直播切片、广告投放素材这些领域素材生产成本可能因此下降一个量级。2. NCP-ArchPreview把LLM预训练的第一步搬到隐空间里做预览如果说Vidu S2是这周最耀眼的应用层新闻那NCP-ArchPreview就是最值得算法团队仔细看的底层论文。标题里的三个关键词已经能说明问题NCP是任务形式ArchPreview是目标隐空间是空间。2.1 预训练试错的真实成本一次失败就是千万级浪费先聊一个大家心里都有数但经常被忽略的事实大模型预训练的试错成本已经高到难以承受。一次千亿参数规模的预训练动辄消耗数千张GPU卡连续跑几十天电费、机器折旧、人力成本加起来是天文数字。更大的问题在于这个过程中你基本是在“盲试”——架构选择、超参数配置、数据配比任何一个维度判断失误可能到训练后期才暴露出来之前砸进去的计算全部打水漂。具体到架构选择层面你面对的是一个巨大的搜索空间深度和宽度的配比同样的参数量是层数多一点还是宽度大一点。注意力机制变体标准多头注意力、分组查询注意力、线性注意力、稀疏注意力各有优劣。MoE配置专家数量、路由策略、激活专家的比例。位置编码方式绝对位置还是相对位置旋转位置编码的基频怎么设置。激活函数、归一化位置、词表大小、训练数据混合比例。这些选择之间有复杂的交互关系单独调一个参数看不出太大差别组合起来效果可能天差地别。更麻烦的是小规模实验的结论很难直接外推到大模型。学界很早就观察到“涌现”现象有些能力只在大模型上出现小模型无论怎么调都测不出来。所以你想省钱先跑一个小模型验证架构结论往往不可靠你不想省钱直接上大模型万一失败就是巨额损失。NCP-ArchPreview如果能把这一步的成本压下来价值不亚于训练算法本身的进步。2.2 隐空间预训练到底是在什么空间里做什么事要理解这个工作先得把“隐空间”这个概念讲清楚。在普通的LLM训练里文本先被切分成token每个token映射成一个高维向量然后这些向量被送进Transformer一层一层处理。这个过程中间产生的高维向量其实就在一个隐空间里——它不是人能直接读懂的文本而是模型内部对语义、语法、上下文关系的一种压缩表示。NCP-ArchPreview里面有一个关键缩写NCP我读到的信息里它更可能是Next Chapter Prediction的简称就是“下一章预测”。这和LLM最经典的训练目标Next Token Prediction正好形成对照后者预测的是下一个词元前者要预测的是更长跨度的语义单元。如果把训练目标从词级提升到段落级或章节级模型就必须在高层的语义层面上做规划这本来就是为了缓解现有LLM在长文本上“只见树木不见森林”的问题。“ArchPreview”则是架构预览连起来就很好理解了这篇论文大概率提出了一种预训练方法或框架在LLM之外构建一个能预测哪个模型架构更有效的预览器而这个预览过程是在隐空间里完成的。我按自己的工程经验推演核心流程大概是这样先用一个固定的编码器把大规模语料映射成隐空间表征。在这个表征空间里对不同候选架构做小规模训练评估它们的收敛速度、loss下降曲线、表达能力。根据预览结果筛选出最有可能在大规模训练中胜出的架构。再把这个架构投放到完整的预训练流程里。这就像装修前先在图纸上做3D预览你不需要真的把墙拆了重砌就能看到哪个布局更合理、哪里会碰壁。对做基础模型训练的人来说这是实打实省钱的思路。2.3 两种解读合在一起预训练的边界正在被重新定义我还注意到一个更激进的解读角度。如果把“隐空间预训练”理解成“直接在隐空间上做预训练”而不是“在隐空间里预览架构”那这个工作想做的事情就更大了。传统LLM的预训练是对token序列做下一词预测这个过程看到的全是词法层的局部信息。而如果让模型在隐空间里直接预测下一个语义块、下一个段落主题、甚至是下一段推理路径模型的表征会从一开始就偏向高层语义。这两种解读其实并不冲突反而可以互相印证。ArchPreview解决的是“哪个架构值得投入重算力去预训练”NCP解决的是“预训练任务应该怎么设计得更高效”。前半部分是外围的架构选型工具后半部分是模型训练方式本身的变革。放在一起看这代表着一个明确的趋势社区已经不愿再接受“盲目砸算力、跑完才知道行不行”这种粗放式的大模型训练方式了。对普通开发者来说这个趋势的直接影响可能在半年到一年内出现——如果这套预览范式被验证有效小团队也可以低成本试出适合自己业务的模型架构然后再定向投放大规模训练。到时候预训练的门槛会进一步降低垂直领域模型的数量可能会迎来一轮爆发。3. 一周论文速览除了头条还有几条线值得顺手翻周刊的价值不只是拆解重点论文还要帮读者快速扫一遍这一周有哪些值得注意的动静。这周除了两篇头条之外我在刷论文过程中留意到几个方向有持续的热度。3.1 视频与多模态方向Vidu S2这类视频生成模型持续发力这个方向已经从前两年的“能不能生成动起来的画面”进化到“生成质量和实时性够不够生产力”。值得关注的不只是单独的视频生成还有视频理解与生成统一的方向。统一模型的基本思路是用一套参数同时做视频的理解和生成理解任务帮助模型掌握物理世界的结构和时序关系生成任务反过来验证理解是否到位。这个方向上任何一篇给出新架构或新训练范式的论文都值得放进收藏夹。3.2 推理、Agent与知识库方向另一个热度很高的方向是Agent与RAG的结合。这周讨论度比较高的技术词包括GraphRAG、Agent工具调用、语义检索和本体RAG。单纯让大模型靠记忆回答问题已经不够了越来越多的工作在探索如何把外部知识库拆成图结构让Agent能理解实体之间的关系再结合工具调用完成多步任务。我在实际体验中最大的感受是RAG系统的瓶颈早就不在embedding模型的精度上而在于怎么处理知识之间的关系、怎么设计检索策略、怎么避免上下文被无关信息污染。这周围绕LLM Wiki、知识库构建和本体设计的开源项目也在快速迭代值得做知识密集型应用的人跟进。3.3 训练基础设施与数据工程方向这周还有一批值得关注的训练优化工作集中在降低预训练和推理成本的方向上。比如数据配比自动搜索、合成数据在后训练阶段的使用、以及针对长上下文场景的稀疏注意力改进。这类工作通常不如模型架构创新那么吸引眼球但对实际部署的影响非常直接。我自己的经验是训练成本降10%对个人开发者可能感觉不明显但对一个大模型创业公司来说可能就是几个月的现金流。4. 论文周报的正确打开方式我的筛选和落地心得最后聊点实在的论文这么多每周更新好几页到底怎么读才有性价比。4.1 快速判断一篇论文值不值得精读我的判断标准基本可以浓缩成三个问题它是概念创新还是工程改进概念创新的论文告诉你“未来可以做”工程改进的论文告诉你“现在就能省”。两者都值得看但投入时间不一样。它有没有配套的开源实现没有代码的论文说服力减半因为关键细节通常藏在工程实现里。它的评测是打榜还是真实场景只在标准benchmark上提了几个点的论文和做了真实用户测试的论文含金量完全不同。我建议你拿到一篇论文先花三分钟看图表和实验设置再决定要不要深入精读。图表能直观告诉你效果上限实验设置能暴露这篇论文是否诚实。4.2 我自己在用的论文追踪工作流我目前的流程比较轻量但实测下来效率很高每天固定时间过一遍更新的论文列表重点关注自己订阅的几个方向关键词。先用语言模型工具做摘要和筛选把相关性高的论文挑出来。精读阶段只看三类内容问题定义、方法论核心、实验对比和失败分析。看完之后用一两段话记录这篇论文“解决了什么问题、用的是什么方法、还有哪些没解决”。一个很实用的技巧是建一个自己的论文卡片笔记库。不用很复杂每篇论文记一个标题、一句核心贡献、三到五个关键词、一段个人点评。坚持半年之后你再回头检索某个方向时这些卡片就是你在脑海中快速索引某个技术点能不能落地、过往方案有哪些坑的素材库。4.3 这周两篇论文对我手头项目的实际启发最后说点实际的。我自己手头有视频生成相关的验证项目和长期关注的大模型训练方向这周这两篇论文给我带来的启发比较直接。Vidu S2让我重新评估了实时数字人在直播、客服、口播视频等场景的落地窗口。以前这类需求依赖真人出镜或者传统的预录方案成本都很高。实时生成如果真的稳定那电商直播、虚拟主播、甚至教育课程里的虚拟老师都能快速跑通。做产品的人不妨思考一个问题如果你的业务现在需要真人出镜未来一年内有多少场景可以被实时数字人替换掉。NCP-ArchPreview则让我对模型选型方法有了新的思考。以前我们小团队选模型只能按公开benchmark和自己跑小参数量模型来做判断本质上还是靠经验和赌。如果隐空间预览方法成熟选型就变成了一件可以先低成本预验证的事。这对中小团队是巨大利好。按照惯例周末我会把这两篇论文的完整技术细节再精读一遍到时候如果有一些更细的发现再单独写文章分享。本周先到这里希望这篇周报能帮你省一些刷论文的时间。
