ESD vs SLD：Erasing Concepts from Diffusion Models与安全潜在扩散全面对比

ESD vs SLDErasing Concepts from Diffusion Models与安全潜在扩散全面对比【免费下载链接】erasingErasing Concepts from Diffusion Models项目地址: https://gitcode.com/gh_mirrors/er/erasing当 Stable Diffusion 能凭空画出任何图像时如何抹掉其中不想要的概念艺术风格、特定物体、不适宜内容就成了刚需。扩散模型概念擦除领域目前有两大主流方案来自论文Erasing Concepts from Diffusion ModelsESD的权重微调方法以及基于**安全潜在扩散Safe Latent Diffusion简称 SLD**的推理期防护。本文将从原理、成本、效果、上手难度四个维度为新手做一次通俗易懂的全面对比帮你选对方案。为什么需要概念擦除扩散模型训练自海量互联网数据会不可避免地记住一些不该出现的内容版权与艺术风格模型能完美复刻梵高、Kelly McKernan 等艺术家的风格这引发了版权争议内容安全模型可能生成不适宜NSFW内容需要过滤隐私与物体某些特定物体、人脸或标志性元素也需要从生成结果中移除。在 erasing 项目中作者用一组应用示例直观展示了这三类擦除场景——原始模型与擦除后模型并排对比效果一目了然ESD把概念从模型权重中抹掉 ESDErasing Concepts from Diffusion Models的核心思路非常直接通过微调让模型忘记某个概念。它不需要重新训练整个模型也不需要任何负面样本只需要一句简短的概念描述如 Van Gogh作为引导。训练时模型同时运行两份自己一份冻结的原始模型Frozen Original SD负责提供参考输出一份正在微调的 ESD 模型Fine Tune ESD负责学习偏离目标概念。两者对同一输入做出预测ESD 用 L2 损失让微调模型的输出背离原始模型对目标概念的响应从而使生成结果在语义上远离该概念。下图是该方法的架构示意ESD 的几个关键特性多种训练方式esd-x只改交叉注意力层最常用、esd-u、esd-all全参数、esd-x-strict、selfattn可灵活控制擦除强度与副作用支持多代模型训练入口统一后esd_sd.py、esd_sdxl.py、esd_flux.py、esd_flux2_klein.py分别面向 Stable Diffusion v1.4、SDXL、FLUX 与 FLUX.2 Klein还可通过--basemodel_id指向同族任意模型擦除属性新玩法不只擦除整个概念还能只移除概念的某个属性——例如只擦掉牛仔的帽子保留牛仔其他特征见 esd_sd.py 中的--erase_from参数更快更省显存新版共享训练核心utils/esd_trainer.py相比旧版显存占用几乎减半速度快 5~8 倍。一句话总结ESD 是训练期方案一次性微调权重之后推理速度与原始模型完全一致。SLD推理期的安全滤镜 ️与 ESD 不同SLDSafe Latent Diffusion安全潜在扩散完全不修改模型权重。它相当于在生成过程中加了一道安全滤镜模型一边去噪一边实时监控潜在空间latent space中是否出现了不安全概念的迹象一旦检测到就把采样轨迹朝安全方向推开。SLD 的几个要点可配置安全概念通过safety_concept指定要拦截的内容如裸体三档强度Medium、Max、Weak分别对应不同的引导强度、预热步数与动量参数方便在防护力度与画面质量之间权衡即插即用不需要训练换任何基于 Stable Diffusion 的管线都能直接套用项目中的 evalscripts/sld-generate-images.py 就是为 SLD 批量生成对比图像准备的。一句话总结SLD 是推理期方案零训练成本但每次生成都要付出额外的安全引导开销。ESD vs SLD核心差异对比表 对比维度ESD 概念擦除SLD 安全潜在扩散核心思想训练期微调模型权重推理期引导采样方向是否改变模型✅ 是保存为 checkpoint❌ 否原模型不动擦除对象任意概念 / 任意属性以安全概念为主推理速度与原始模型一致有额外计算开销训练成本需要一次微调数分钟级无需训练多次使用一次训练永久生效每次生成都需引导灵活切换概念需重新训练动态修改safety_concept多模型适配SD/SDXL/FLUX 全支持主要面向 SD 系列实战对比①艺术风格擦除 在艺术风格擦除上两者差异最能体现。项目中的对比图展示了同一组风格化提示词在四种方案下的生成结果Original SD原始模型→ Our MethodESD→ Safe Concept → SLD可以看到ESD 方法擦除艺术家风格如 Kilian Eng、Kelly McKernan后画面保留原场景但风格明显去艺术家化而 SLD 更多是引导生成内容避开不安全区域对纯粹风格类概念的擦除能力相对有限。如果你要精确擦掉某个艺术风格ESD 是更对症的选择。实战对比②不适宜内容擦除量化分析 在不适宜内容NSFW任务上作者用条形图量化了暴露身体部位数量的变化百分比对比了Our MethodESD、SLD Medium、Stable Diffusion V2.0 / V2.1从图中可以看出ESD 在多个身体部位维度上的擦除幅度更为显著且副作用更小SLD 虽然也能起到防护作用但防护强度与画面自然度之间存在更明显的权衡。上手 ESD安装与训练教程 想亲手体验概念擦除跟着下面几步走1️⃣ 克隆仓库并安装依赖git clone https://link.gitcode.com/i/1a44760f159fe9cfab85025450932682 cd erasing conda create --name erasing python3.14 conda activate erasing pip install -r requirements.txt2️⃣ 训练一个擦除梵高风格的 ESD 模型python esd_sd.py --erase_concept Van Gogh --train_method esd-x训练完成后checkpoint 会保存到esd-models/sd/目录。如果你用的是 SDXL只需把入口换成esd_sdxl.py并配合--train_method esd-x-strict即可。3️⃣ 用 Notebook 快速推理生成图像的推理示例已内置在 notebooks/esd_inference_sd.ipynb、notebooks/esd_inference_sdxl.ipynb、notebooks/esd_inference_flux.ipynb 等文件中开箱即用。4️⃣ 批量评估效果项目内置了一整套评估工具evalscripts/generate-images.py批量生成测试图像evalscripts/lpips_eval.pyLPIPS 感知相似度评估evalscripts/imageclassify.py 与 evalscripts/nudenet-classes.py图像分类与 NSFW 检测evalscripts/styleloss.py风格损失量化。提示词数据集放在 data/ 目录下如vangogh_prompts.csv、kelly_prompts.csv、unsafe-prompts4703.csv等可直接用于评测。快速生成 SLD 对比图像 如果你想在同一个项目里生成 SLD 的对比图运行python evalscripts/sld-generate-images.py --sld_type Medium --prompts_path data/unsafe-prompts4703.csv --save_path esd-models/sld/--sld_type支持Medium/Max/Weak三档配合--sld_concept可自定义要拦截的安全概念。到底怎么选一张图帮你决策 ✅要精确擦除特定风格 / 物体 / 属性如去掉梵高风格去掉牛仔的帽子→ 选ESD一次训练永久生效推理零开销✅要快速防护、不改权重、随时换概念如临时屏蔽 NSFW 内容→ 选SLD即插即用追求极致效果→ 两者可以组合先用 ESD 从权重层面永久擦除核心概念再用 SLD 在推理期兜底防护形成双保险。结语扩散模型概念擦除是 AI 生成内容走向合规、可控的关键技术。ESDErasing Concepts from Diffusion Models以权重微调实现治本SLD安全潜在扩散以推理引导实现治标两者各有千秋。对新手而言建议先从 ESD 入手体验一次完整的训练—擦除—评估流程再结合 SLD 做对比实验就能快速建立起对两种方案优劣势的直观认知。动手试试吧擦除一个概念只需几分钟【免费下载链接】erasingErasing Concepts from Diffusion Models项目地址: https://gitcode.com/gh_mirrors/er/erasing创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考