AI安全--构建AI大模型微调数据实践

一、指令微调与数据格式为什么需要指令微调预训练模型在大规模无监督数据上训练能生成流畅、上下文相关的文本但缺乏明确的任务导向难以直接响应“翻译、分类、摘要”这类具体指令。指令微调通过在预训练模型上进一步微调用大量带明确任务指令的标注数据让模型学会“按用户给出的具体指令生成符合预期的输出”从而显著提高任务适应性与精确度可统一处理翻译、问答、文本生成等不同类型任务。数据格式指令微调数据通常包含两部分实践中为三字段任务指令用户给定的明确任务描述自然语言表达告诉模型做什么输入模型需要处理的具体数据可为空模型输出模型根据指令与输入应生成的结果。我们举个例子{ 指令: 将以下句子翻译成英文你好今天的天气怎么样, 输入: , 输出: Hello, how is the weather today? }上面这种「指令 / 输入 / 输出」三字段格式即业界常说的 Alpaca 格式是开源社区最通用的指令微调数据格式之一。工程上通常把成千上万条这样的对象按行存成 train.jsonl每行一个 JSON用 HuggingFace datasets 加载fromdatasetsimportload_dataset# 每行一个 {instruction: ..., input: ..., output: ...}dsload_dataset(json,data_filestrain.jsonl,splittrain)print(ds[0])# 预期输出{instruction: 将以下句子翻译成英文…, input: , output: Hello, …}print(len(ds))# 样本条数训练时再把三字段拼成一条完整文本喂给模型例如### Instruction:\n{instruction}\n### Input:\n{input}\n### Response:\n{output}对拼接后的文本计算损失通常只对 Response 部分计算损失效果更好。数据获取的两条路人工标注研究者设计具体任务指令配合正确输出构成高质量“指令-响应”对质量高但成本高、耗时长。自动生成借助大规模语料库、现有模型或规则自动生成任务指令与响应从公共数据集、开放领域对话数据中提取或用模型自动生成指令集。可大规模扩展但质量可能不稳定需进一步筛选优化。# 二、基于大语言模型构建数据1、用大语言模型自动生成指令微调数据说明提示词驱动自动化数据生成通常通过设计适当的提示词引导大语言模型生成特定格式的数据。自我迭代提质如 Self-Instruct 等技术把模型生成的数据作为新输入再反馈给模型让模型在自我训练中不断提高生成质量。灵活可调可针对数据的主题、风格、语气、难度等细致调整使数据集更多样、更精准。2、生成流程与方法Self-InstructSelf-Instruct 是一种基于大语言模型的自我反馈生成方法能通过少量初始数据自动生成大量指令和任务数据并通过自我迭代优化结果。核心流程四步初始指令生成 → 任务数据生成 → 反馈与优化 → 自我迭代我们来实践一下Self-Instruct 式生成的最小可运行骨架以 OpenAI 兼容接口为例fromopenaiimportOpenAIimportjson,re clientOpenAI()# 需先 export OPENAI_API_KEYsk-...seed[# 初始指令人工撰写对应图4-3 的“初始指令生成”将以下句子翻译成英文你好今天的天气怎么样,请判断以下评论的情感倾向这部电影非常好剧情紧凑。,]defgen_batch(examples,n8):任务数据生成少样本提示让模型批量产出新指令。prompt以下是若干任务指令示例\n\n.join(f-{e}foreinexamples)promptf\n请仿照以上风格再生成{n}条互不重复、任务类型多样的新指令每行一条。respclient.chat.completions.create(modelgpt-4o-mini,messages[{role:user,content:prompt}],temperature0.7,# 适当提温增加多样性)lines[l.strip(- ).strip()forlinresp.choices[0].message.content.splitlines()ifl.strip()]returnlinesdefdedup(instructions):# 反馈与优化过滤语义重复/过短项seen,outset(),[]forinsininstructions:keyre.sub(r\W,,ins.lower())iflen(ins)10andkeynotinseen:seen.add(key);out.append(ins)returnout poollist(seed)forround_inrange(3):# 自我迭代把上轮结果作为下轮示例newdedup(gen_batch(pool))pool.extend(new)print(fround{round_}: pool{len(pool)})# 预期输出round 0: pool11 …withopen(self_instruct.jsonl,w,encodingutf-8)asf:forinsinpool:f.write(json.dumps({instruction:ins,input:},ensure_asciiFalse)\n)说明真实 Self-Instruct 还会对生成的指令做“分类分类 / 生成 / 其他→ 生成输入输出 → 过滤低质量”等步骤上例保留了“初始指令 → 批量生成 → 去重 → 迭代”的主干。3、优势与缺点优势规模化能力短时间内自动生成大量指令、问答对、对话样本与文本摘要在数据匮乏领域或新兴任务中迅速填补空缺多样性与灵活性依据不同输入指令生成丰富多样的输出覆盖更广任务变体与情境减少人工干预大幅降低人工标注比重节省人力成本。缺点质量不稳定可能出现语法错误、逻辑不清或信息遗漏高精度、复杂任务难以完全符合需求继承模型偏差训练语料来自互联网海量文本本身可能带偏见或错误生成时可能被继承影响公平性与准确性需细致的数据审查与后期修正任务适配性存疑任务复杂度较高时生成数据无法覆盖任务全部需求高精度任务仍需人工筛选与调整。三、实践一下用 HuggingFace Transformers 在中文 RoBERTa 上做法律领域 DAPTfromdatasetsimportload_datasetfromtransformersimport(AutoTokenizer,AutoModelForMaskedLM,DataCollatorForLanguageModeling,TrainingArguments,Trainer)BASEhfl/chinese-roberta-wwm-ext# 步骤1通用基座tokenizerAutoTokenizer.from_pretrained(BASE)modelAutoModelForMaskedLM.from_pretrained(BASE)# 步骤2-3领域语料法律条文/判例/医学文献每条记录为一篇纯文本rawload_dataset(text,data_files{train:data/law_corpus.txt})[train]tokenizedraw.map(lambdab:tokenizer(b[text],return_special_tokens_maskTrue),batchedTrue,remove_columns[text],)# 步骤4MLM 自监督继续预训练用小学习率防止灾难性遗忘collatorDataCollatorForLanguageModeling(tokenizertokenizer,mlmTrue,mlm_probability0.15)argsTrainingArguments(output_dirout/law-roberta-continued,per_device_train_batch_size16,learning_rate2e-5,# 远小于从零预训练约 1e-3 量级num_train_epochs3,weight_decay0.01,logging_steps100,save_strategyepoch,)Trainer(modelmodel,argsargs,train_datasettokenized,data_collatorcollator).train()model.save_pretrained(out/law-roberta-continued)# 步骤5换 AutoModelForSequenceClassification 等头在下游任务上监督微调