不卖关子Text2Video这条线做到现在最核心也是最容易劝退新人的模块就是噪声预测器。当年大家还在争论U-Net还能不能打的时候DiTDiffusion Transformer已经悄悄把Text2Video的骨架换了个底朝天Sora带火之后Open-Sora、CogVideoX、Latte这些开源项目也基本都倒向了DiT架构。这篇就把DiT在Text2Video里到底干了什么、网络内部怎么搭、训练和推理怎么跑通以及我实际踩过的一些坑一次讲清楚。适合准备上手做视频生成、或者想从图像DiT往视频方向转的同学纯小白也能看懂原理但后面会有点代码建议打开IDE跟着敲。1. 为什么说DiT是Text2Video的“引擎”1.1 先搞懂噪声预测器在扩散模型里的角色扩散模型的思路说起来很直白正向过程就是往一段视频里一点点加高斯噪声加到几十步之后视频基本变成一坨纯雪花点反向过程就是反着来从雪花点里一步步把视频“还原”出来。这里的还原不能真的靠肉眼去判断必须让一个神经网络在每个加噪程度下都算出——视频内容是什么、或者当前这坨噪声长什么样。这个网络就是常说的噪声预测器。数学一点的写法是前向过程把原始视频或视频的latent(x_0) 和噪声 (\epsilon) 按系数混合成 (x_t)[ x_t \sqrt{\bar{\alpha}_t} x_0 \sqrt{1-\bar{\alpha}_t} \epsilon ]网络 (\epsilon_\theta(x_t, t, c)) 的输入是加噪到第 (t) 步的数据、当前时间步以及文本条件 (c)输出是网络认为的噪声 (\epsilon)。训练时就让网络输出和真实噪声算一个MSE损失[ L |\epsilon_\theta(x_t, t, c) - \epsilon|^2 ]推理时拿着随机噪声反复迭代减去网络预测的那部分噪声再加一点不确定度直到还原出比较干净的视频。整个过程很像让你把一张被马赛克到几乎不可辨认的图一步步拼回原来的内容——网络每一次都告诉你“这个局部的噪声应该是这个方向”你照着修正就好了。有个很容易忽略的点现在很多Text2Video模型包括Sora和SD3系列已经不直接预测 (\epsilon) 了而是预测一个“速度”或者“方向向量”但大家习惯上还是叫它噪声预测器。这个我放到后面单独讲先记住一点不管预测目标怎么变这个网络扮演的角色都一样——给定带噪输入、时间步和提示词输出一个能把数据往干净方向推的修正量。1.2 从U-Net到DiT视频生成为什么弃卷积投Transformer图像生成时代Stable Diffusion的骨干用的是U-Net一个以卷积为主的编码器-解码器结构中间靠跳连保存细节。卷积网络有个天然特点它只看局部感受野要一层层堆才能变大。图像上这问题不明显因为图像的空间相关性本来就是局部的但视频多了一个时间维度很多关键信息恰恰是长程的——第1帧出现的那个人和第16帧是不是同一个人物体这几十帧的运动轨迹是不是连贯的这些都必须跨越几十帧去看。卷积要建模这种长距离依赖要么狂堆层数要么靠注意力补丁效果都差点意思。DiT就是直接把扩散模型里的U-Net换成Transformer。思路也很简单把视频切成一堆patch每个patch变成一个token扔进标准的Transformer块里做全局自注意力。这样第1帧的某个区域和第16帧的同一区域可以直接做注意力交互时空关系建模从结构上就天然支持不再依赖卷积层堆叠。另一个现实原因是扩展性。OpenAI那篇DiT论文已经在ImageNet上证明随着参数量从DiT-S涨到DiT-XL图像生成质量持续变好而当时同量级的U-Net很难吃下更大的模型。加上Transformer在大语言模型那边已经有一整套成熟的分布式训练基建FSDP、序列并行、FlashAttention随便拿来就用训练效率和稳定性都远好过自己改造U-Net。视频生成对计算量的要求是图像的好几倍能无脑吃算力换质量这个特性太重要了。1.3 单流DiT vs 双流DiT组织方式的取舍如果你去翻现在的开源Text2Video项目会频繁看到两个词单流DiTsingle-stream DiT和双流DiT。这说的是文本条件和视频token是怎么交互的。单流DiT的思路是把文本token和视频token拼在同一个序列里然后整个序列一起过自注意力。Sora据公开资料描述就是这种“unified transformer”路线。好处是文本和视频每个token之间都能直接两两交互语义引导非常充分实现也简单不用设计复杂的cross-attention模块。代价是序列长度变长——文本token一般就一两百个但视频token动不动上千甚至上万全拼一起后计算量直接上升。双流DiT则是视频token走视频分支、文本token走文本分支各自先做自注意力然后再通过某种机制交互比如cross-attention注入文本信息。CogVideoX是这条路的代表。好处是视频分支的计算量相对可控文本分支可以用更强的语言模型特征缺点是架构复杂一些模态交互没有单流那么彻底。我自己觉得当你的训练数据和算力都相对紧张时双流结构更容易训稳因为文本和视频的梯度不会互相干扰如果财大气粗、数据管够单流的上限更高。开源社区现在对“单流DiT”的讨论热度明显更高这和Sora带起来的趋势有关但实际落地时真的不必迷信单流很多量产模型为了稳定还在用双流。对比项单流DiT双流DiT模态交互文本与视频token全量自注意力交互彻底先分支内注意力再走cross-attention等机制交互序列长度文本视频全部concat长度大计算开销高分支内长度可控整体更省架构复杂度简单直接较复杂需要设计交互模块数据效率偏低需要较大数据量才能训稳相对友好适合中小规模训练代表模型Sora、Latte、部分Open-Sora版本CogVideoX、MVDiT等2. 把DiT拆开看输入、条件与内部构造2.1 视频如何“令牌化”3D VAE patchify视频不能直接送进DiT——原始像素的维度太高了一段16帧、256x256的视频光是像素就是一百多万个数Transformer硬吃根本吃不消。所以Text2Video的前置步骤一定是压缩用一个3D VAE把视频编成latent把空间和时间的冗余都压掉一层。3D VAE和图像VAE的区别在于它连时间维度也做了压缩。常见配置是空间上8x8、时间上4x也就是说原本16帧256x256的视频进入DiT时可能变成4帧、32x32的latent通道数则看训练配置常见是8到16个通道。这个压缩率很关键压缩得太狠生成细节会糊压缩得不够DiT计算量爆炸。现在开源社区已经有比较好用的视频VAE比如CogVideoX的VAE直接拿来做前置压缩就行没必要从头训。拿到视频latent之后要把它进一步切成patch。假设patch_size2latent在时间、高度、宽度三个维度都按2切块每个小块拉平成一组向量经过一个线性投影变成token。Patch_size的选择是个先有鸡还是先有蛋的问题patch越大token数越少、计算越省但细节还原越差patch越小token越多、效果上限越高但显存压力极大。图像DiT常用patch_size2或4视频场景因为latent本身还有一个时间维token数量已经比图像多一个量级一般用patch_size1或2比较合理。另外token必须知道自己处在视频的什么位置否则模型没法区分“第1帧的左上角”和“第10帧的右下角”。常见做法是用3D可学习的位置编码或者用RoPE旋转位置编码按时间、高度、宽度分别编码。我的经验是短视频小模型用learned positional embedding简单省事一旦要生成很长很长的视频learned embedding容易在长度外推时崩RoPE更稳。2.2 文本Prompt怎么喂给DiTText2Video里的“Text”最终要变成一种模型能用的向量。文本编码器这一步相当关键常见有两条路线CLIP文本编码器和T5。CLIP擅长简短、风格化的promptT5在长句子、复杂语义描述上更强所以现在Text2Video开源模型普遍用T5系列因为视频描述通常都挺长比如“一只猫从窗户跳下来镜头跟随猫落地后转身看向镜头”这种句子CLIP处理起来很吃力。编码出来的文本特征怎么进入DiT取决于你用的是单流还是双流。单流DiT直接把文本token拼接在视频token序列前面一起过自注意力双流DiT则一般把文本特征通过cross-attention注入视频分支。还有一种折中做法只把文本整体编码成一个语义向量然后通过adaLN条件归一化和文本向量一起注入网络图像时代的Stable Diffusion 2.x就这么干过但信息量比token级交互要损失不少。注意单流DiT里文本token通常要加独立的位置标记或者干脆放在固定开头位置这样模型才能区分“这串token是文本”和“那串token是视频”。我在代码里见过很多次新手把文本token和视频token拼一起后忘了处理位置编码结果模型把文本当视频看生成出来画面完全不受控制。这个细节看着小栽跟头概率极高。2.3 adaLN-Zero时间步条件注入的关键细节要说DiT和U-Net在结构上最大的不同除了自注意力就是这个“条件注入”方式。U-Net一般是把时间步embedding加在特征图上DiT则用了adaLNAdaptive Layer Normalization让一个MLP根据时间步还可以加其他条件向量预测出LayerNorm需要的scale和shift再作用到归一化之后的特征上。为什么不用普通的LayerNorm因为视频生成里时间步t极其重要——t0.1表示数据已经很干净网络应该做微调t0.9表示数据全是噪声网络要做大刀阔斧的还原。这种“程度感”必须动态反馈到每一层不能靠一个固定学好的scale/shift。adaLN其实和情感语音合成里常用的条件归一化是一个思想条件不同每一层的分布都不同。DiT论文里最值得抄的一个技巧是adaLN-ZeroMLP输出的scale、shift、gate六个向量里gate被初始化成零。这样每个DiT block刚开局时等价于恒等映射网络一开始不急着参与破坏输入而是随着训练慢慢“打开”各层的贡献。这对几十层深的Transformer极其友好能显著降低训练初期的不稳定性。在我见过的所有开源实现里这个零初始化几乎成了标配别手滑删掉。2.4 噪声预测器的目标函数在变从epsilon预测到Flow Matching如开头所说早期扩散模型预测噪声 (\epsilon)DDPM和DDIM那套是这么玩的。后来出现了v-prediction以及这两年特别火的Flow Matching也叫Rectified FlowSora和SD3都用了这个思路。现在做Text2Video的新项目你看到的大部分都在用Flow Matching的目标函数。Flow Matching的思路是把 (x_0) 到噪声 (\epsilon) 的转化路径定义成一条最简单的直线插值[ x_t (1-t)x_0 t \epsilon, \quad t \in [0,1] ]t0时是干净数据t1时是纯噪声中间线性混合。网络要预测的是“速度”——从当前状态走向 (x_0) 的方向向量也就是 (v \epsilon - x_0)。训练损失[ L |v_\theta(x_t, t, c) - (\epsilon - x_0)|^2 ]相比epsilon预测Flow Matching的一大好处是训练时t从[0,1]均匀采样即可不用设计SNR加权之类的小技巧损失权重恒为1同时前向过程的路径更直推理时用最朴素的Euler法迭代二三十步就能得到不错的结果不需要DDIM那套复杂的采样公式。对于视频这种超高维数据收敛速度上的差异体感很明显。所以如果你要新起一个Text2Video项目我的建议很直接别再做epsilon预测了直接上Flow Matching。3. Text2Video DiT的训练与推理实操3.1 数据与VAE准备数据是Text2Video最大的隐性成本比模型本身难搞。公开数据集一般以WebVid-10M、Panda-70M为主但直接用肯定不行必须清洗。我常用的筛选规则很粗暴但有效字幕为空或太短的删掉画面纯色或静止帧占比过高的删掉视频时长太短的删掉分辨率太低的统一处理后再说。很多模型生成出来画面“糊一片”不是模型的问题是数据里低清短视频太多了模型被带偏了。caption同样重要。一段视频如果没有配文字要么找现成的视频字幕要么用视频理解模型自动生成描述。描述的质量直接决定模型能不能理解你的prompt所以我建议宁可花时间把caption写长、写具体也不要贪图省事用简短的短语。我自己试过同样的模型caption从短句换成详细描述后生成对文本的遵循度肉眼可见地上了一个台阶。3D VAE这一块除非你有大量算力想从零训否则直接用开源VAE就好。但有个坑必须提不同VAE训练的latent分布scale不一样有的实现需要在encode后乘一个系数比如0.18215有的不需要。这个系数不对训练时loss看起来正常但decode出来的视频全是灰蒙蒙的或者有奇怪的斑纹。动手前先拿一段原视频过一遍VAE再decode回来确认重建质量没问题再让DiT上手。3.2 训练超参与优化要点训练配置我建议从低配起步16帧256x256分辨率模型规模控制在20M到50M参数的DiT-S或DiT-B级别。先用单卡或两三张卡把整个pipeline跑通确认loss和采样结果都对再去冲大模型否则出问题都不好定位是代码、数据还是超参的锅。基础配置给个参考优化器AdamWlr 1e-4左右warmup 500到1000步cosine衰减 batch size通过gradient accumulation堆到几十到上百条视频精度用bf16梯度裁剪clip_grad_norm设1.0很有必要。Flow Matching的时间步均匀采样就行别的都不用调。损失函数就是mse loss简单。但有个细节视频token带来的损失占比其实不均匀有的帧动作多、有的帧几乎是静态如果你训练长视频可以考虑对损失做token平均而不是整段平均否则网络容易偷懒把动态强的帧糊弄过去。不过这个属于后期优化一开始老老实实mse就行。训练过程中一定要定期采样看视频别只盯loss曲线。我见过不止一次loss降到很低但生成出来的是几个几乎静止的画面在来回闪loss根本反映不了时序质量问题。按我的习惯每训练几百步就存一次checkpoint顺手抽一个固定prompt生成一段短视频肉眼对比这才是真正的评估。3.3 推理采样从纯噪声到视频帧推理流程看起来不复杂把prompt编码成文本向量初始化一个纯高斯噪声latent然后按采样器迭代去噪结束后用3D VAE decoder把latent解码成RGB视频帧序列。这里最需要选的是两件事采样器和CFG的强度。如果你用的是Flow MatchingEuler法加上20到30步已经够用如果用的是epsilon预测DPM-Solver或DDIM跑30到50步更靠谱。采样器这块不用太纠结先用Euler跑通效果不满意再换DPM系列对比。CFGClassifier-Free Guidance是控制“文本遵循度”的核心旋钮公式很简单[ \epsilon_{\text{cfg}} \epsilon_{\text{uncond}} \text{guidance_scale} \cdot (\epsilon_{\text{cond}} - \epsilon_{\text{uncond}}) ]也就是说训练时要有一定比例一般10%到20%的样本把文本条件丢掉让模型同时学会无条件预测。推理时先算一个无条件的预测作为基线再把有条件预测和条件预测的差值拉大差值越大生成内容越贴prompt但也越容易过饱和、闪烁。视频这边guidance_scale一般取3到8比图像生成的7.5左右往往要低一些因为视频的动态性对过度引导更敏感。3.4 一个最小可用的PyTorch骨架直接贴一份能说明核心结构的骨架代码。为了篇幅我把mask、3D位置编码等细节略去了重点展示单流DiT加adaLN-Zero的精髓。建议对着这份代码自己敲一遍再去看Open-Sora或Latte的完整实现会顺畅很多。import math import torch import torch.nn as nn def modulate(x, shift, scale): # x: (B, N, D), shift/scale: (B, D) return x * (1 scale.unsqueeze(1)) shift.unsqueeze(1) class TimestepEmbedder(nn.Module): def __init__(self, hidden_dim): super().__init__() self.hidden_dim hidden_dim self.mlp nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.SiLU(), nn.Linear(hidden_dim, hidden_dim), ) def forward(self, t): # t: (B,) half self.hidden_dim // 2 freqs torch.exp(-math.log(10000) * torch.arange(half, devicet.device) / half) args t[:, None] * freqs[None] emb torch.cat([torch.cos(args), torch.sin(args)], dim-1) return self.mlp(emb) class DiTBlock(nn.Module): def __init__(self, hidden_dim, num_heads): super().__init__() self.norm1 nn.LayerNorm(hidden_dim, elementwise_affineFalse) self.attn nn.MultiheadAttention(hidden_dim, num_heads, batch_firstTrue) self.norm2 nn.LayerNorm(hidden_dim, elementwise_affineFalse) self.mlp nn.Sequential( nn.Linear(hidden_dim, 4 * hidden_dim), nn.GELU(), nn.Linear(4 * hidden_dim, hidden_dim), ) self.adaLN nn.Sequential( nn.SiLU(), nn.Linear(hidden_dim, 6 * hidden_dim), ) # adaLN-Zero: 最后一层置零让block初始为恒等映射 self.adaLN[-1].weight.data.zero_() self.adaLN[-1].bias.data.zero_() def forward(self, x, c): # c: (B, D) 条件向量 shift_msa, scale_msa, gate_msa, shift_mlp, scale_mlp, gate_mlp \ self.adaLN(c).chunk(6, dim-1) h modulate(self.norm1(x), shift_msa, scale_msa) h, _ self.attn(h, h, h, need_weightsFalse) x x gate_msa.unsqueeze(1) * h h modulate(self.norm2(x), shift_mlp, scale_mlp) x x gate_mlp.unsqueeze(1) * self.mlp(h) return x class VideoDiT(nn.Module): def __init__(self, in_channels16, hidden_dim768, depth12, num_heads12, patch_size2, max_tokens2048, text_dim4096, text_tokens120): super().__init__() self.patch_size patch_size self.in_channels in_channels # patchify 的线性投影C*pt*ph*pw - D self.patch_proj nn.Linear( in_channels * patch_size * patch_size * patch_size, hidden_dim) self.pos_embed nn.Parameter(torch.randn(1, max_tokens, hidden_dim) * 0.02) self.t_embedder TimestepEmbedder(hidden_dim) self.text_proj nn.Linear(text_dim, hidden_dim) self.blocks nn.ModuleList( [DiTBlock(hidden_dim, num_heads) for _ in range(depth)]) self.final_norm nn.LayerNorm(hidden_dim, elementwise_affineFalse) self.head nn.Linear( hidden_dim, in_channels * patch_size * patch_size * patch_size) def forward(self, z, t, text_emb): # z: (B, C, T, H, W) 视频latent B, C, T, H, W z.shape p self.patch_size # 简化版patchify: 按时间、高度、宽度切块 z z.unfold(2, p, p).unfold(3, p, p).unfold(4, p, p) # B, C, T/p, H/p, W/p, p, p, p z z.permute(0, 2, 3, 4, 1, 5, 6, 7).contiguous() z z.view(B, -1, C * p * p * p) # B, N, patch_dim x self.patch_proj(z) # B, N, D N x.size(1) x x self.pos_embed[:, :N] c self.t_embedder(t.squeeze(-1) if t.dim() 2 else t) text_tokens self.text_proj(text_emb) # B, Txt, D x torch.cat([text_tokens, x], dim1) # 单流DiT: 拼接 for blk in self.blocks: x blk(x, c) x x[:, text_tokens.size(1):] # 去掉文本token x self.final_norm(x) x self.head(x) # B, N, patch_dim # 后续按逆操作 reshape 回 (B, C, T, H, W) 即可 return x训练循环里Flow Matching的核心只有三行逻辑随机时间步、线性插值加噪、预测速度差。z vae.encode(video)[latent] # B, C, T/4, H/8, W/8 noise torch.randn_like(z) t torch.rand(B, devicedevice) # [0,1] 均匀采样 x_t (1 - t[:, None, None, None, None]) * z t[:, None, None, None, None] * noise v_target noise - z v_pred model(x_t, t, text_emb) loss F.mse_loss(v_pred, v_target)推理时从纯噪声开始反向走x torch.randn_like(z) # 初始纯噪声等价于 t1 dt 1.0 / steps for i in range(steps): t_now torch.full((B,), 1 - i * dt, devicedevice) v model(x, t_now, text_emb) x x - dt * v # Euler 反向积分 video vae.decode(x)[sample]这份代码强调的是理解和骨架真要训练还需要补上3D位置编码、文本mask、时间维的causal处理、分布式训练等一堆细节。我的习惯是先跑通这份再逐步替换成官方实现的组件。4. 实战踩坑与调参记录4.1 训练Loss突刺从怀疑代码到怀疑数据我训DiT遇到最多的一个现象是loss正常降了上千步突然某一步飙到几十甚至变成nan然后又掉回来。第一反应通常是怀疑代码写错了但检查过前向反向逻辑没问题之后要往两个方向查一是inf/nan值出现在哪把出问题的样本打印出来十有八九是某段视频latent里出现了极端大值或者是一段全黑全白的纯色帧二是数据问题绝不背锅的往往是你的优化器设置grad clip没开bf16推高到爆。排查顺序我给一个固定套路先开grad clip看看是不是立刻稳定如果还炸把时间步采样改成避开t非常接近0或1的区间Flow Matching在两端的目标值变化很陡是loss突刺的高发地带再不行就检查数据找出loss爆炸那一步的样本单独debug。我的经验里最后大概率是数据里混入了奇怪样本而不是网络本身的问题。4.2 显存不够DiT的内存优化技巧DiT的显存焦虑比U-Net明显得多因为自注意力的计算和内存随序列长度平方增长。16帧256x256的视频latent经过空间8x压缩大概是4x32x324096个空间位置patch_size1时token数就是4096起步再拼上文本token一张卡根本放不下几层block。显存优化手段按优先级排第一梯队是bf16混合精度和FlashAttention-2做上这两个memory直接掉一截第二梯队是activation checkpointing每个block不存中间激活反向时重新算一遍以时间换空间效果立竿见影第三梯队是FSDP或DeepSpeed ZeRO把优化器状态、梯度、参数都分片到多卡上。序列维度还有一个trick叫sequence packing把多条视频按长度打包成一个大序列避免padding浪费配合attention mask使用吞吐能涨不少。实在压不下来就调整patch_size从1调到2token数直接变成原来的八分之一效果立竿见影代价是细节略有损失。训练初期先用大patch跑通流程后期再调小patch精调是我常用的省钱策略。4.3 视频像“闪烁PPT”时序一致性的问题排查最让人崩溃的画面效果是单看每一帧都还行但连起来像频闪灯物体在跳变背景在闪。这背后原因很多但排查顺序很固定。先查VAE。拿一段真实视频编进latent再解出来如果解码后的视频本身就闪烁那DiT怎么训都救不回来。视频VAE必须在时间轴上做causal压缩也就是当前帧的解码不能依赖未来的信息很多从图像VAE改造来的实现容易在这翻车。再查训练数据的帧率如果训练集里都是6fps到30fps混杂模型对“时间步”的感知会混乱尽量统一帧率和时长。最后才是模型侧如果用的是通过的离散时间位置编码小心外推到长视频时模式崩坏换成RoPE更稳。还有一个很实际的工程经验训练时不要一步到位生成很长的视频。先从8帧、16帧训起模型把短时序学顺了再渐进拉长到32帧、64帧很多做视频生成的项目都是这么渐进式训练的一上来就训长视频很容易训不动。4.4 生成长视频滑动窗口与延续生成想用Text2Video生成几十秒甚至几分钟的视频别指望一次性把所有帧都丢给DiT。序列长度有限、显存有限、训练时也没见过那么长的时长直接硬生成长视频大概率到后面就崩了。实用方案是滑动窗口先生成前16帧然后把最后4到8帧作为下一个窗口的condition继续生成下一段。实现上一种做法是首帧/尾帧conditioning——训练时随机裁剪视频片段把片段的开头几帧作为模型输入条件可以是原始像素或latent推理时把上一个窗口的尾部帧传下去让新窗口尽量和上一段衔接。另一种做法是重叠帧blend两段生成的视频有重叠帧在重叠区做一个线性过渡。这些技巧单独用都不完美实际项目往往是先做滑动窗口再让后处理阶段做插帧和颜色校正。CFG和采样参数在长视频上也和短视频不同。长视频更容易因为over-guidance产生闪烁我一般会把guidance_scale适当调低甚至可以尝试阶梯CFG前几步用较高的引导把结构定下来后几步降低引导防止过饱和。步数也别贪多Flow Matching用Euler 20到30步足够再多只是浪费算力不会让画面明显更好。最后分享一个我自己的习惯每次改完一个模块固定用同一组prompt和随机种子生成一组视频样本肉眼对比细节。指标可以看CLIP相似度之类但视频生成这种任务动态质感、物体一致性、运动幅度本质上是主观感受loss和指标都替代不了肉眼的判断。做过一轮完整的训练与排查之后你会体会到DiT本身的结构其实并不复杂真正的难点永远在数据和工程细节上这些坑踩过的和没踩过的效率能差好几倍。
