文档教程人工智能【免费下载链接】ai-notesnotes for software engineers getting up to speed on new AI developments. Serves as datastore for https://latent.space writing, and product brainstorming, but has cleaned up canonical references under the /Resources folder.项目地址https://gitcode.com/gh_mirrors/ai/ai-notes点击查看免费下载数据合成synthetic data正成为 AI 工程的核心方法论与其花费巨资人工标注不如用模型生成数据再训练模型。本指南以 ai-notes 仓库中的 stub notes/data synthesis.md 为骨架完整拆解 InstructPix2Pix 如何用提示词改写 文生图重渲染三步合成出数十万规模的指令式图像编辑数据集并延伸讲解 RL 流程与模型自写反馈在数据合成中的应用最后汇总仓库笔记中记录的真实合成数据案例帮助你建立一套可复用的合成数据生产范式。一、为什么需要数据合成人工标注的瓶颈在 README.md 的仓库定位中ai-notes 是面向软件工程师的 AI 发展速览笔记重点关注生成式模型与 LLM。其中 Monthly Notes/2024 notes/Jan 2024 notes.md 开头就记录了一条行业判断Synthetic data is the futureNous Research 创始人的观点并举例微软仅用合成数据就从 Mistral-7B 微调出登顶 MTEB 榜单的文本嵌入模型。数据合成的核心动机在原文档中非常直白Annotating hundreds of thousands of images in this way could be expensive以这种方式标注数十万张图片成本高昂。人工标注不仅贵而且慢、不一致。而如果能把标注任务转化为模型生成任务成本结构就完全不同——这正是 InstructPix2Pix 论文方法论的价值所在。二、InstructPix2Pix用合成数据训练听得懂指令的图像编辑模型原文档开篇即点出 InstructPix2Pix 的新意Tim Brooks and colleagues at UC Berkeley built InstructPix2Pix, a method that fine-tunes a pretrained text-to-image model to revise images via simple instructions like swap oranges with bananas without selecting the area that contained oranges.其核心能力是用户无需框选区域只需用自然语言指令如把橙子换成香蕉即可让模型精准修改图片。而且它同时适用于传统艺术品没有原始 prompt 的图像和生成式图像。在仓库的 IMAGE_GEN.md 中这一方法被归入图像生成核心笔记区与同思路的 Pix2Pix-zero 并列记录——Pix2Pix-zero 的备注揭示了同领域的另一种解法它直接使用预训练文生图扩散模型如 Stable Diffusion进行编辑无需训练、无需手动 prompt即可保留输入图像结构。两条笔记对照可以帮你理解指令式编辑这个研究方向上的两条技术路线。2.1 要解决的根本问题原文档用Key insight点出了关键矛盾If you feed an image plus an edit instruction into a typical pretrained image generator, the output may contain the elements you desire but its likely to look very different.也就是说把图片 编辑指令直接喂给普通预训练文生图模型模型虽然可能生成出你想要的新元素但整张图的结构、风格、内容大概率会面目全非——因为预训练模型从未见过指令式编辑这种任务形态。解决方案不是换一个更大的生成器而是构造一个符合任务形态的数据集对预训练模型做指令微调instruction fine-tuning。2.2 数据集的结构五元组原文档给出了指令编辑训练数据的标准结构一个样本必须包含五个要素要素含义示例prompt原始提示词a bowl of oranges on a tableimage由该 prompt 生成的原始图片一碗橙子的渲染图revised prompt改写后的提示词a bowl of bananas on a tablerevised image对应改写提示词生成的目标图片一碗香蕉的渲染图instruction描述这次修订的自然语言指令swap the oranges with bananas模型的任务即给定 (image, instruction)输出 revised image。这组数据让模型学会了指令 → 编辑的映射关系而不是新 prompt → 全新图片。2.3 三步合成法用模型造数据原文档给出了最关键的生产工艺——合成synthesize这套数据集的三步流水线取一批图文配对语料从现成的大规模 image-caption 语料出发让 caption 充当 prompt 角色用预训练大语言模型LLM改写 prompt 并生成指令例如把 a bowl of oranges 改写为 a bowl of bananas并同步生成指令 swap the oranges with bananas用预训练文生图模型渲染目标图片基于改写后的 prompt 生成对应的 revised image。整个流程没有任何人工标注介入LLM 负责语言侧的修订图像生成模型负责视觉侧的修订两者组合即可在低成本下规模化为数十万乃至百万级样本。这正是原文档所说its possible to synthesize such a dataset的完整落地方式。2.4 从仓库笔记看同思路的扩展这套用现成模型批量造训练数据的方法论并非孤例。仓库 stub notes/IMAGE2TEXT.md 记录的 LLaVA视觉指令微调是同一思路在多模态 LLM上的体现它首次尝试仅用语言模型 GPT-4 生成多模态语言-图像指令跟随数据再据此指令微调视觉-语言模型最终在 Science QA 上达到 92.53% 准确率且数据、模型、代码全部开源。对比可见InstructPix2PixLLM 改写 prompt 图像模型重渲染 → 合成图像编辑训练数据LLaVA纯语言 GPT-4 生成指令 → 合成多模态指令跟随训练数据。两者共享同一个底层逻辑在缺少人工标注时用更强大的现成模型做标注员。三、RL 驱动的数据合成从反馈数据说起原文档第二部分using RL for data synthesis仅记录了一条外部线索一条 2023 年 5 月的推文链接仓库未展开其具体内容。为避免无据推断本节基于仓库内可确认的资料梳理RL 流程中产生合成数据这一方向的可靠证据链。3.1 RLAIFAI 反馈替代人类反馈stub notes/RLHF_RLAIF.md 记录了 RLAIFReinforcement Learning from AI Feedback路线研究者用更小模型如 GPT-Neo 1.3B充当奖励模型把偏好蒸馏进奖励模型再对 Google 的 Flan T511B做强化学习最终模型性能接近微调后的 GPT-3 Davinci175B且相比 Curie 微调模型将严重失败率降低了 66%——整个过程中成本仅约几百到一千美元级别。这说明RL 管线中反馈标注这一最昂贵的环节本身就可以由模型合成。3.2 模型自写反馈把评估数据也合成出来同文件 stub notes/RLHF_RLAIF.md 记录了 Anthropic 的做法研究者用 LLM 生成154 个评估数据集model-written feedback / synthetic feedback并用这批合成数据研究 LLM 行为得出一个重要结论——越大的 LLM 越谄媚sycophantic在 75%-98% 的对话中会复述用户观点。这证明合成数据不仅能训练模型还能作为探针用于行为分析与评估而这类数据如果靠人工编写成本与一致性都是大问题。3.3 RL 与数据合成的结合点小结从仓库笔记可以归纳出 RL 在数据合成中的三种角色均为仓库可确认的事实合成偏好/反馈数据RLAIF 用模型生成偏好对替代昂贵的人类标注合成评估数据模型自写 154 个评估集用于行为审计合成训练语料RLHF/RLAIF 的最终产物对齐后的模型又可反过来作为数据生成器形成模型造数据→训练→再生成的飞轮。原文档中的外部链接指向的正是这一方向上的最新案例读者可关注仓库后续笔记更新获取补充。四、仓库中的合成数据案例集锦方法论已遍布各模态ai-notes 的多个笔记文件都记录了大量合成数据实证这里按模态归类方便你在实际项目中按图索骥4.1 代码与推理phi-1CODE.md 记录了一个 1.3B 参数、仅用 7B tokens 预训练数据的模型击败 ChatGPT 编码能力的案例其中1/7 的数据是合成生成的其余是高质量教科书数据MagicoderMonthly Notes/2023 notes/Dec 2023 notes.md 记录其用 OSS-Instruct 方法基于开源代码片段生成 75K 合成指令数据训练 7B 模型AlphaGeometryMonthly Notes/2024 notes/Jan 2024 notes.md 记录 DeepMind 的几何解题系统仅用 1 亿个合成样本训练在 30 道奥赛几何题中解出 25 道接近人类金牌选手水平25.9 道超越此前 SOTA 的 10 道论文发表于 Nature。4.2 表格与多模态TAPEXstub notes/TABULAR.md 记录其核心思想为用合成数据作为真实数据在预训练阶段的代理——通过在一个合成语料上学成一个神经 SQL 执行器来完成表格预训练WebSightMonthly Notes/2024 notes/Jan 2024 notes.md 记录了一个包含 82.3 万对合成 HTML/CSS 代码 对应渲染截图的多模态数据集用于微调 GPT-4V 类模型Moondream2Monthly Notes/2024 notes/Mar 2024 notes.md 记录这个 1.8B 参数的边缘设备视觉语言模型主要使用 Mixtral 生成的合成数据训练Apache 2.0 开源。4.3 检索与预训练文本嵌入模型Monthly Notes/2024 notes/Jan 2024 notes.md 记录微软用合成数据从 Mistral-7B 微调出登顶 MTEB 的嵌入模型WRAPMonthly Notes/2024 notes/Jan 2024 notes.md 记录苹果的方法用指令微调模型把网页改写成维基百科风格问答格式等联合真实数据与合成改写进行预训练提速约 3 倍、平均困惑度改善超 10%合成检索任务Monthly Notes/2024 notes/Jan 2024 notes.md 直接指向一个公开的合成检索任务数据集。这些案例共同印证了原文档的核心判断数据合成不是图像编辑的专用技巧而是一种跨模态、跨任务的通用数据供给策略。五、合成数据生产实操要点从 Alpaca 提示词到规模控制5.1 指令多样性是第一生产力合成数据的质量天花板取决于生成指令的多样性。仓库 TEXT_PROMPTS.md 收录了 Alpaca 项目的经典提示词模板其约束项本身就是一份高质量的多样性检查清单尽量不重复动词以最大化多样性语言形式多样疑问句与祈使句混合任务类型多样包括开放式生成、分类、编辑等这与 InstructPix2Pix 的指令生成天然同构指令必须可被执行不要求视觉/音频输出或外部动作指令 1-2 句话英文输入应包含具体示例、真实数据、不超过 100 词挑战性适中输出不超过 100 词。把第 3 条应用到图像域就是 InstructPix2Pix 所需的编辑型指令批量生成器——你完全可以用这套提示词思路让 LLM 产出 add / remove / replace / change color / change style 等多样化的编辑指令。5.2 数据质量的两个风险点仓库笔记同样记录了合成数据要提防的坑标注者用 LLM 作弊Resources/DATASETS.md 记录了一项研究——通过击键检测与合成文本分类估计Amazon Mechanical Turk 上有33%-46% 的众包工人使用 LLM 完成任务。这意味着人工标注本身也在被合成化评估数据的真实性需要额外校验数据变暗data going darkResources/DATASETS.md 记录了 Stack Overflow 数据转售、Reddit API 商业化等事件提示高质量公开语料的供给正在收缩——这正是合成数据成为必要选项的另一重推力。5.3 合成数据的定位与真实数据配合从仓库案例看主流的成功配方并非全合成而是真实数据 合成数据的混合配比phi-1合成数据占约 1/7其余是高质量教科书数据WRAP真实网页与合成改写联合预训练InstructPix2Pix以真实 image-caption 语料为起点LLM 与图像模型负责生成修订对。这个配比逻辑可以理解为真实数据提供世界的真实分布合成数据提供目标任务形态的密集覆盖两者互补而非互斥。六、总结把数据合成纳入你的 AI 工程工具箱回到 stub notes/data synthesis.md 的骨架本篇的核心结论可以浓缩为三条可执行原则当标注昂贵时先问这个标注能否由模型生成——InstructPix2Pix 用 LLM 文生图模型代替了数十万次人工标注LLaVA 用纯语言模型生成了多模态指令数据合成数据的三步范式可跨域迁移——语料起点 → LLM 改写 → 生成模型渲染/产出适用于图像编辑、多模态指令、表格预训练、代码生成等场景仓库中的 AlphaGeometry、WebSight、phi-1 都是实证RL 与合成数据正在互相增强——RLAIF 用模型合成反馈Anthropic 用模型写评估集而模型造数据→训练→再生成的飞轮会持续降低数据成本。若想持续跟进这一主题可在仓库的 Monthly Notes 目录按月份追踪合成数据的最新进展或在 Resources 与 stub notes 中查阅数据、RLHF/RLAIF 与图像生成的专题笔记。赞分享文档教程人工智能【免费下载链接】ai-notesnotes for software engineers getting up to speed on new AI developments. Serves as datastore for https://latent.space writing, and product brainstorming, but has cleaned up canonical references under the /Resources folder.项目地址https://gitcode.com/gh_mirrors/ai/ai-notes点击查看免费下载相关推荐蓝鲸PaaS敏感字段加密存储SM4国密算法在PaaS中的落地详解蓝鲸PaaS敏感字段加密存储SM4国密算法在PaaS中的落地详解 蓝鲸智云 PaaS 平台BlueKing PaaSblueking paas是一个开放后端云原生微服务前端企业应用开发者门户PaddleOCR 数据合成工具全景指南从 Style-Text 到 SynthTIGER 的合成数据实践PaddleOCR 数据合成工具全景指南从 Style Text 到 SynthTIGER 的合成数据实践 合成数据是 OCR 模型训练中扩充样本规模、覆盖长人工智能计算机视觉OCR深度学习大模型RAGCTGAN实战指南三分钟学会生成高质量合成数据CTGAN实战指南三分钟学会生成高质量合成数据 你是否曾经因为数据隐私问题而无法使用真实数据进行开发或者因为数据量不足而影响模型训练效果今天我要向你介绍一创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
