只需几张照片Stable Diffusion WebUI Forge 就能帮你炼出专属 Textual Inversion 概念令牌【免费下载链接】stable-diffusion-webui-forge项目地址: https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forgeStable Diffusion WebUI Forge 的 Textual Inversion文本嵌入训练让你不用碰模型权重只用 520 张图就能把你的风格 / 你的角色变成一个专属词。训练完你会得到一个.pt小文件往提示词里一写my_style生成的每张图都带上这个概念。本文带你从建向量到出图完整走一遍。开始前的 3 件事动手之前把这三件事搞定后面一路顺环境克隆仓库git clone https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge装好依赖后能正常启动 WebUI并加载一张基础模型SD1.5 / SDXL 均可后文以常见参数为例。数据建一个dataset文件夹放520 张训练图统一裁成512×512。每张图配一句描述例如a photo of [V] style其中[V]是占位符训练时会被你的嵌入名替换——这是整个方法的标准写法别省。概念速览Textual Inversion 一句话解释——给模型词典里加一个新单词再教它认识这个单词。模型本体权重一个字不动只是多了一个可训练的小向量训练完的嵌入就是那个向量。手把手从建模型到出图1. 建一个初始向量打开 WebUI 的Train标签页在嵌入创建区填三项字段怎么填为什么嵌入名称如my_style只用字母、数字、下划线它就是提示词里的令牌名特殊字符会被自动剔除初始化文本与目标相近的短语如oil painting给向量一个靠谱的起点收敛更快更稳向量数单一概念选 1复杂风格选 4向量越多容量越大但更难训到位界面入口在 modules/textual_inversion/ui.py它最终调用 modules/textual_invector/textual_inversion.py 里的create_embedding第 254 行生成一个全零占位向量若给了初始化文本就把该文本经 CLIP 编码出的向量逐条拷进去随后以[名称].pt落盘到embeddings/目录。核心只有几行vec torch.zeros((num_vectors_per_token, embedded.shape[1]), devicedevices.device) if init_text: for i in range(num_vectors_per_token): vec[i] embedded[i * int(embedded.shape[0]) // num_vectors_per_token]2. 训练参数怎么填创建完成后训练参数区照这张表填新手直接抄作业参数建议值一句话说明学习率0.005初始值后续不降就往下调训练步数10003000按图片数量增减宁少勿多批次大小14跟着显存走爆了就降到 1梯度累积4显存不足时的等效大批次手段实际训练由 modules/textual_inversion/textual_inversion.py 的train_embedding接管读图、前向、更新那个向量、周期性存预览与进度一气呵成。3. 跑起来盯着 loss点Train Embedding。训练期间关注实时损失值它应该逐步下滑稳定后最好压在0.05 以下。中途停掉或正常跑完.pt都会自动写回embeddings/目录——中断也不怕白跑。4. 出图之后在生成界面直接把令牌写进提示词a photo of my_style landscape with mountains出图满意收工。不满意分两种情况像但没学到样本太少或步数不够 → 补图多角度、多光照步数加到 2000 以上不像像初始化文本了说明初始化词带偏了 → 换一个更贴切的初始化短语重训同时检查图片里光照、构图是否一致。它到底在背后做了什么跑完再回头拆原理会清晰很多。一个占位向量如何变成单词。create_embedding生成的.pt文件里存着 token 映射string_to_token里*指向 token 265、向量本体、名称、训练步数和所用检查点名。生成时WebUI 在分词阶段把my_style换成这个占位 token于是提示词里的它不再是普通文字而是一个被训练过的向量。谁负责加载与注册。modules/textual_inversion/textual_inversion.py 里的Embedding类第 36 行管理单个嵌入的向量、步数与哈希EmbeddingDatabase类第 108 行则是数据库它会监控embeddings目录的变更发现文件动了就自动重扫注册load_textual_inversion_embeddings第 205 行——所以你把.pt拖进目录不重启也能用。一个文件兼容四种格式。load_from_file第 154 行按扩展名分发elif ext in [.BIN, .PT]: data torch.load(path, map_locationcpu) elif ext in [.SAFETENSORS]: data safetensors.torch.load_file(path, devicecpu)除了.pt/.bin/.safetensors还支持 PNG / WEBP / JXL / AVIF 图片——数据直接藏在图片元数据里编码解码逻辑在 modules/textual_inversion/image_embedding.py。好处是嵌入可以当图片转发一眼看到长什么样方便分享。辅助工具。图片尺寸和焦点不一致会拖慢收敛modules/textual_inversion/autocrop.py 的智能裁剪能把每张训练图规整成统一构图想批量回归验证效果可用 scripts/prompts_from_file.py 从文件读提示词批量出图。调优与排错一本通症状 → 原因 → 动作按图索骥现象多半是该做的动作显存爆了OOM批次开大了batch 降到 1、开梯度累积关训练预览图必要时启用 Low VRAM 模式loss 一直不降学习率不对先减半试 0.0025再配合步数微调生成结果不像描述初始化文本带偏换更贴切的初始化短语重新创建向量只认训练图、换个场景就崩过拟合减少训练步数、增加正则化regularization样本概念和背景混在一起训练图背景太杂用 modules/textual_invector/autocrop.py 自动裁剪统一焦点或手动抠图临时文件占满磁盘训练缓存未清清理临时文件如rm -rf tmp/*进阶玩法与方向批量管理嵌入EmbeddingDatabase的扫描机制天然支持多嵌入共存一次加载整目录批量验证配合 scripts/prompts_from_file.py训练一版、批量出一组图做 A/B 对比和 LoRA 结合嵌入是加一个词LoRA 是改一摊权重。想更精细地微调参数可以看 packages_3rdparty/webui_lora_collection两条路线可以叠加使用下一步探索风格嵌入与物体嵌入混合训练同一向量同时学画风 角色、给数据集做自动标注以降低人工成本。现在就去一套流程记住就行几张图 一个下午 一个只属于你的概念令牌训出来的.pt丢进任何一台 WebUI Forge 的embeddings/目录别人也能直接用。打开 Train 标签页创建你的第一个嵌入吧。【免费下载链接】stable-diffusion-webui-forge项目地址: https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
