一、判别式模型vs生成式模型1.1 判别式模型就是分类别1.2 生成式模型生成式模型可以作为判别式模型进行使用但是反过来不行的判别式不能作为生成式二、自编码器2.1 Autoencoder自编码器图片可以变成编码和解码得到图但是呢稍作干扰给图片改点东西就会还原成一堆噪点这不是我们想要的我们想要的是对图片向量干扰也能恢复出来图片比如一张鸟然后复制出来更多鸟出来或者干绕比如颜色和脸部朝向等2.2 变分自编码器我把图片若干个特征信息揉到一起去分析比如毛色毛发或者脸部特征等三、常见的视觉内容生成模型架构3.1 自编码我们应该知道在图片压缩和还原的过程可能会丢失一部分内容。比如高分辨率感官会差一些3.2 Gan判别和生成通过判别式和生成式解码器进行处理生成器生成然后通过判别器来识别是不是一张图片3.3 扩散先进行加噪这个不需要训练再进行降噪这个需要训练1. 正向扩散的过程2. 反向去噪的过程公式里面比较要命的一点就是x0是一个原始图片但是我们可以使用xt加噪的最后一张图片和次数然后通过神经网络拟合一下作为x0一句话总结这个网络再训练的过程中它是把所有get到的知识都存储在xθ中,然后见到了加噪图片和次数能够还原出来原始图片3. 整体流程withaccelerator.accumulate(unet):# Convert images to latent spacelatentsvae.encode(batch[pixel_values].to(dtypeweight_dtype)).latent_dist.sample()latentslatents*vae.config.scaling_factor# Sample noise that well add to the latentsnoisetorch.randn_like(latents)bszlatents.shape[0]# Sample a random timestep for each imagetimestepstorch.randint(0,noise_scheduler.config.num_train_timesteps,(bsz,),devicelatents.device)timestepstimesteps.long()# Add noise to the latents according to the noise magnitude at each timestep# (this is the forward diffusion process)noisy_latentsnoise_scheduler.add_noise(latents,noise,timesteps)# Get the text embedding for conditioningencoder_hidden_statestext_encoder(batch[input_ids])[0]# Get the target for loss depending on the prediction typeifnoise_scheduler.config.prediction_typeepsilon:targetnoiseelifnoise_scheduler.config.prediction_typev_prediction:targetnoise_scheduler.get_velocity(latents,noise,timesteps)else:raiseValueError(fUnknown prediction type{noise_scheduler.config.prediction_type})# Predict the noise residual and compute lossmodel_predunet(noisy_latents,timesteps,encoder_hidden_states).sample lossF.mse_loss(model_pred.float(),target.float(),reductionmean)4. Rectified Flow 简介如何加速过程原本逐步弯曲的然后直接变成走直线的过程去掉弯弯绕绕体现在原本逐步一点点进行还原的然后现在变成一步直接还原图片比如右下角的狗真实应用到我们实际当中早些年这个用于去除图片雾化等然后使用的是卷积层5. 条件引入现在需要你提供一个噪声图片去还原图片但是呢现在用起来你总不能给它一个噪声图片吧但是这些入参的引导条件怎么注入呢你的引导条件可能是图片文本等等6. SDM扩散模型结构左边这个vae这个模型就是我们之前看到的压缩模型中间的是扩散模型原本计算量很大但是采用压缩之后的图片交给扩散模型那么就可以减少扩散的计算量可以跑到家用级别显卡上右边就是引导条件具体代码可以看4中的代码这里只做讲解压缩图片构造一个噪声添加噪声也就是t然后叠加到我的embedding编码变量中加了t步噪声文本信息通过这个地方得出来文本的特征因为训练的数据加的是文本图片信息然后把文本的特征和加噪的图片和加噪步长给到unet也就是这里给文本都加入进去的3.4 级联式文生图模型3.5 DM扩散模型基于Teansformer的DiT3.6 DM扩散模型基于Teansformer的U-ViT3.7 多模态DiT-Srable Diffusion SD33.8 DiT-FLUX 多模态无法微调只能通过lora微调3.9 商用版本lora微调的不如全量微调的lora微调都是基于基础lora后的所以后续效果没有全量的质量高3.10 实战建议直接哔哩哔哩上查看文生图等等去查看玩一下3.11 应用拓展抠图让它做一些填充3.11.2 拓展数字人数字分身一张图抽取轮廓信息然后在另外一张图中模拟3.11.3 controlNet网络结构3.11.4 IP-Adapter3.11.5 InstantID3.11.6 Virtual Try-on3.12 DiT架构下的内容一致性生成incontext-lora)优势很适合一致性的生成比如相似人物风格的比如捂住图片一部分然后提供一些提示词生成同样风格的图片或者生成同一个用户不同的模样的图片再比如ps等和漫画等比如我给这个小女孩捂住然后给一段文本说小女孩再整煎饼然后生成很相似的小女孩吃煎饼或者啥的3.13 模型加速方法3.13.1 数据无关3.13.2 数据相关3.14 3D生成方法使用dreamBooth可以通过少量的图片获取出来单张照片的特征来实现3D效果想拖拉拽或者3D打印必须更换角度那么下面的模型架构即可完成3.15 视频生成方法3.15.1 基于文生图与预训练模型的方法下面的脸部动作有些僵硬3.15.2 原生的视频生成方法
