1. 生成模型的核心数学框架生成模型本质上是在学习数据分布P(X)的数学表达。以VAE为例其核心是变分推断的数学过程通过引入近似后验分布q(z|x)来逼近真实后验p(z|x)证据下界(ELBO)的推导过程如下log p(x) ≥ ELBO E[log p(x|z)] - KL(q(z|x)||p(z))这个不等式成立的关键在于KL散度的非负性。第一项是重构损失保证生成质量第二项是正则项迫使编码分布接近先验分布。2. 概率图模型与生成过程以隐马尔可夫模型(HMM)为例其生成过程可表示为p(X,Z) p(z1)∏ p(zt|zt-1)∏ p(xt|zt)这种因子分解形式揭示了时序数据的生成机制。现代扩散模型也遵循类似思想通过马尔可夫链逐步添加噪声q(xt|xt-1) N(xt; √(1-βt)xt-1, βtI)3. 流模型的可逆变换归一化流(Flow-based Model)通过可逆函数f将简单分布pZ(z)转换为复杂分布pX(x)pX(x) pZ(f-1(x)) |det Jf-1(x)|其中雅可比行列式保证了概率密度的正确变换。RealNVP模型采用耦合层实现可高效计算Jacobian的变换y1:d x1:d yd1:D xd1:D ⊙ exp(s(x1:d)) t(x1:d)4. 对抗训练的博弈论基础GAN的minimax目标函数min_G max_D V(D,G) E[log D(x)] E[log(1-D(G(z)))]这对应于纳什均衡的求解过程。Wasserstein GAN通过Earth-Mover距离改进训练稳定性W(pr,pg) inf_γ∈Π(pr,pg) E(x,y)~γ[||x-y||]5. 注意力机制的数学本质Transformer中的自注意力实际上是学习一个动态权重矩阵Attention(Q,K,V) softmax(QK^T/√d)V其中Q/K/V都是输入的线性变换。这种机制实现了非局部信息的高效融合成为现代生成模型的基础组件。6. 实践中的数值稳定性技巧概率计算使用log域避免下溢log_p log_sum_exp(logits) - log(sum(exp(logits - max_logit)))KL散度计算时的保护措施kl tf.reduce_sum(p * (tf.math.log(p) - tf.math.log(q)), axis1) kl tf.maximum(kl, 0) # 确保非负混合精度训练时维护主权重副本optimizer tf.keras.optimizers.Adam() optimizer tf.keras.mixed_precision.LossScaleOptimizer(optimizer)7. 评估指标的数学含义FID分数计算真实与生成特征的分布距离FID ||μr - μg||^2 Tr(Σr Σg - 2(ΣrΣg)^1/2)精确度与召回率的权衡Precision TP/(TPFP) Recall TP/(TPFN)IS分数基于分类器的预测置信度IS exp(E[KL(p(y|x)||p(y))])8. 微分方程视角的生成模型连续时间扩散模型可以用SDE描述dx f(x,t)dt g(t)dw对应的逆向过程需要求解dx [f(x,t) - g(t)^2∇log pt(x)]dt g(t)dw9. 矩阵分解与表示学习VAE的隐空间可视为原始数据空间的低维流形嵌入z μ σ⊙ε, ε~N(0,I)这种重参数化技巧使得梯度可以回传而随机性由ε独立控制。10. 优化目标的权衡艺术β-VAE通过调节β系数平衡重构质量与隐空间规整度L -E[log p(x|z)] βKL(q(z|x)||p(z))当β1时强调解耦表示β1时侧重生成质量。
