1. 先说说我们为什么要做合成人生先讲个每天都会发生的场景你跟某个AI助手聊了半小时交代了你的职业、城市、家庭情况甚至孩子几岁、在学什么特长。隔天再打开它温文尔雅地问你请问您家里有几口人你瞬间想摔手机——昨天才说过啊。更让人崩溃的是另一种情况。你明确告诉它我现在已经搬去杭州了以后别推荐北京的餐饮它答应得好好的十分钟之后又说给您推荐一家北京老字号。数据没过脑子、记忆像漏勺这事儿几乎算是当前主流大模型产品的通病。但换个角度看AI又不是真的傻。它每轮对话都能一字不差地复读你说过的话上下文窗口里存着几万字的聊天记录。问题出在它能看见这些信息不代表它知道何时该用、该优先用哪一条、信息出现冲突时该信谁。我们团队做这个题为为什么AI总是记错你我们造了一个合成人生来测试的项目干的事情很直接虚构一批拥有完整人生档案的虚拟人物生成几千轮人生对话再把AI丢进这些对话里看它到底记住了多少、记错了多少、以及为什么会记错。这项目适合谁参考如果你在做AI产品的评测、在设计对话记忆模块、或者你想搞清楚为什么我的AI助手总犯低级错误这篇文里的方法论和踩坑记录应该能给你不少启发。所谓的合成人生本质上是一套可量化的记忆评测系统。它不是随机问几个问题打分而是把整个人物档案、对话历史、测试题库、打分脚本串成一条流水线。下面我把这套东西的来龙去脉拆开讲。2. 合成人生的整体设计思路2.1 为什么不能用真人对话数据来测业内常见的记忆评测套路是拿真实客服聊天记录、开源多轮对话数据集去测模型。听着很靠谱但实操起来全是坑。第一真实数据没有标准答案。用户夸了店里的菜好吃模型记住了用户爱吃川菜——这算记住还是过度推断真实对话里大量信息是模糊的、含混的你没法给每条记忆下个准确定性。第二真实数据的事实会互相矛盾。同一个用户今天说在深圳三个月后说在北京模型该记哪个在真实语料里这类时间线上的冲突几乎无法清理干净。第三你控制不了信息的分布密度。有的用户会在对话里反复说自己的名字和公司有的用户从不主动提任何背景。你想测模型在一个信息只出现过一次时能不能记住真实数据给不了这么精确的切片。所以核心思路就是一句话我们自己造一个人把他的档案写得清清楚楚对话历史完全可控测试问题全部有标准答案。这样模型每答错一道题我们都能精确追溯到是哪个环节出了问题。2.2 人物档案的构造规则像写人物小传一样较真合成人生的关键在于人物档案不能瞎编。我们内部定了一套档案四要素缺一不可静态身份姓名、出生年、籍贯、现居城市、学历、职业这些长期不变。动态现状目前住的详细地址、公司名称、职位、婚姻状态、孩子数量、最近一次体检结果。偏好体系饮食习惯、运动偏好、影视口味、购物习惯、常去的地点。近期事件三个月内发生过的人生大事比如搬家、换工作、孩子升学、宠物丢了又找回来。每个维度至少给5条具体信息每条信息要可验证、有唯一答案。比如用户喜欢喝咖啡这种太虚了我们写的是用户工作日早上固定去公司楼下的某品牌咖啡店买一杯冰美式周末在家用手冲壶喝耶加雪菲。一个完整档案大概控制在300到500字。为什么是这个量级太长了生成对话时模型容易编飞太短了撑不起足够的测试轮次。我个人的体会是档案信息密度比字数更重要——10条细节丰富的具体信息远胜过30条用户喜欢看电影这种废话。2.3 对话历史的生成模拟真实聊天的信息投放有了人物档案下一步是生成这个虚拟人物和AI助手之间的历史对话。这是整个项目里最考验功力的环节。我们的做法是先把整段对话拆成幕像写剧本一样规划信息投放节奏第1幕开场白与破冰人物主动介绍自己叫什么、在哪个城市做什么工作。第2幕日常闲聊聊到孩子、爱好自然带出家庭结构和生活偏好。第3幕事件冲突人物主动提出我说过我要换工作吧更新之前的职业信息或者吐槽新家离公司太远了暗示搬家。第4幕长尾话题聊一些之前从未提过的新偏好、新事件。为什么这么设计因为真实的人不会在第一次见面就把户口本念给你听。信息要在对话里有铺垫、有重复、有前后呼应模型的记忆负荷才接近真实场景。对话轮数我们控制在80到150轮之间总token量大概1.5万到3万。这个量级刚好卡在主流模型上下文窗口的中段既不会触发窗口截断又能真实反映长对话下的记忆衰减趋势。每轮对话要带时间戳精确到日期甚至小时方便后面测试模型能否区分信息的先后顺序。3. 关键环节与核心实现拆解3.1 测试问题设计的五维框架光有对话历史还不行你得知道从哪些角度考它。我们最终沉淀出五个记忆维度每个维度对应一组标准化问题模板记忆维度考察重点问题示例身份记忆基础静态属性我叫什么名字在哪个城市工作偏好记忆兴趣、习惯、口味我周末通常怎么喝咖啡事件记忆近期发生过的事我三个月前换的新工作是什么关系记忆家庭、社交关系我有几个孩子老大在学什么更新记忆信息发生改变后能否用新值我现在住哪个城市旧城市是哪每个维度最终出10道题一套档案总共50题。这个量级足够统计出显著性差异又不至于让评测跑太久。特别注意更新记忆的题目要设计成必考重点因为这是AI最容易翻车的地方。具体出题逻辑我单独拿到下面讲。3.2 更新类记忆的三种出题法我们都知道搬家、换工作这种信息变更最容易让AI精神分裂。为了量化这个问题我们设计了三种考法同轮更新对话里先抛出旧信息紧接着在同一次对话的几轮之后抛出新信息然后问我现在在哪。跨轮更新第20轮抛出旧信息第80轮抛出新信息中间隔着大量无关闲聊。这模拟的是上一次聊天时你还住在北京这次聊天你说你搬到了杭州。隐性更新不直接说我搬家了而是通过新买的窗帘尺寸不对楼下装修太吵这类暗示信息考察模型能否自己推断出居住状态变化。实测下来隐性更新是所有类型里错误率最高的。原因后面讲模型机制时细说。你如果自己要复现这套方法建议在更新类题目上至少留出三成份额它才是真实用户体感差异最大的地方。3.3 评分标准从对错到对错的原因评测不能只看最终答对没有还要记录错误类型。我们把模型的输出分为五类正确和标准答案一致。旧信息错误更新题里回退了旧的答案比如该答杭州却答了北京。幻觉错误对话里从未出现过这个信息模型自己编了一个。混淆错误把A人物的信息安到B人物身上或者把V1信息安到V2信息上。拒答/偏移回答我不确定或者答非所问。为什么要区分这么细因为两类错误的原因完全不同。旧信息错误大概率是注意力衰减——模型在长上下文里更倾向于就近取答案幻觉错误则是模型本身的生成倾向在作祟——它宁愿猜一个也不愿意承认自己不知道。你不区分错误类型就根本没法制定后续的优化方向。4. 实操过程与典型测试结果4.1 搭建测试基线的完整流程如果你也想跑一遍这套流程我把操作路径完整列出来第一步构造人物档案。首先我建议准备至少8到10个不同背景的虚拟人物覆盖不同年龄段、职业、家庭结构。否则测试结论没有普适性。我们第一批做的是8个人物。第二步生成对话历史。建议用比较强的通用模型来生成因为对话质量直接决定测试有效性。提示词里一定要给完整人物档案和信息投放节奏表让AI按照分幕计划生产对话。单个人物生成80轮左右跑完后人工抽检对话是否和档案矛盾有矛盾直接改。第三步构造测试题库。按上文说的五维框架每个维度出10题答案全部对照档案人工审核一遍。有个小技巧问题里不要出现档案里的原句要用转述方式提问否则模型靠文本匹配也能答对测不出真实记忆能力。第四步编写自动化评测脚本。脚本把每个测试问题附在完整对话历史的末尾发给被测模型记录输出内容再用规则加人工双重判断归类。第五步跑多组对照实验。至少测三组完整对话组80轮、截断对话组只留最后20轮、空对话组无历史。三组对照才能把记忆能力和短期反应能力区分开。4.2 一批实测数据与典型案例拿其中一个虚拟人物A来说档案设定是32岁产品经理现居杭州两个月前刚从北京跳槽到一家做支付业务的公司。对话历史一共102轮。完整对话组测试下来各维度得分如下身份记忆正确率82%偏好记忆74%事件记忆58%关系记忆69%更新记忆只有41%。这个结果非常有代表性。越是静态、低频变化的信息模型记得越牢越是近期待更新的动态信息越容易记错。最典型的错误出现在一道隐性更新题上。对话历史里人物在第二轮说我北京的房东催我交房租第60轮说新租的房子离地铁站走路五分钟第95轮问我现在住在哪个城市。被测模型答道北京。显然它捕捉到了房东房租这些高频词把它们绑定到旧城市北京上完全没有顺着新租的房子推断出人物已经离开北京。同一道题上截断对话组只留最后20轮反而答对了杭州。这说明什么模型在长上下文里并非能力不足而是关键信息被大量无关token稀释了。上下文越长注意力越容易散掉。这个现象在多次实验里反复出现也解释了为什么用户和AI聊得越久AI越容易说出上一轮聊过的蠢话。4.3 提示词工程对记忆表现的影响我们在测试中发现一个容易被忽略的点同样对话历史换一种提问措辞正确率能差十几个百分点。有两种问法对比很典型问法A根据以上对话帮我回忆一下我现在住在哪个城市 问法B请结合对话历史回答用户当前居住的城市。问法A的得分明显高于问法B。猜测原因是帮我回忆一下把模型引导到了检索模式而结合对话历史更像正常作答模式。所以我们在最终评测里统一使用了问法A风格的问题模板保证不同模型对比的公平性。这条经验对你做产品也有用如果想让AI助手准确调取用户既有信息在产品交互上可以用刚刚咱们聊到……你还记得吗这样的措辞把模型推向显式检索状态。5. 实际操作中最容易踩的五个坑5.1 合成数据太顺滑反而测不出问题AI生成的对话历史往往过于通顺每句话都逻辑清晰、前后呼应。这和真实聊天差别很大——真人经常说半句话、跑题、自我纠正、含糊表达。我们第一批测试用的对话历史太工整被测模型正确率高得吓人一度以为大模型记忆能力早就没问题了。后来把一些对话改成了人类真实说话的样子加入口头禅、断句、跳跃话题相同模型的正确率立刻往下掉了十个百分点。所以建议对话历史生成后一定要人工注入噪声。每10轮里至少加一处跑题内容或未完成表述让它更接近真实对话分布。5.2 时间戳缺失导致更新题无法判断初始版本我们没给每轮对话加时间戳结果出更新题时模型完全无法判断旧信息和新信息的先后关系只能靠位置猜测。这是你自己的实验设计缺陷不能怪模型。解决办法很简单每轮对话在开头标注明确时间比如2025-03-12 0923并且在人物的表述里也带上时间提示比如上个月我搬了家。双通道时间线索能确保模型具备区分新旧信息的必要条件。5.3 测试问题和对话历史泄露了答案这是一个非常隐蔽的坑。最初我们出题时图省事问题直接用了对话里出现过的原话。比如对话里有一句我不吃香菜测试题就问用户不吃什么模型直接靠文本匹配就答对了根本走不到记忆这一步。后续把问题改成上次吃饭时我特别叮嘱了什么忌口才真正逼着模型去检索和推理。题目必须和对话历史里的原文在字面上拉开距离这是不可妥协的原则。5.4 上下文拼接顺序出错跑批量测试时我们遇到过一个诡异现象相同模型相同档案两次测试结果差异巨大。排查了大半天发现是脚本里把测试问题放在了对话历史之前导致模型把问题本身也当成了对话的一部分输出变得混乱。正确的拼接顺序是系统提示词 - 历史对话时间正序 - 分隔符 - 测试问题。5.5 拿记忆评测结果反推产品能力要谨慎这套合成人生测的是模型在当前输入下的记忆检索能力并不是产品完整的记忆体验。产品层面的记忆还涉及存储架构、检索策略、多轮记忆合并。也就是说模型答错了肯定是产品记忆做得不好模型答对了也不代表产品记忆做得优秀。我们的实验里同一个模型在完整对话组里更新记忆正确率41%但在截断对话组只保留最近20轮里正确率飙到78%。如果在产品里加一道历史摘要压缩工序把早期信息提炼成简短摘要再拼进上下文模型的记忆表现会有质的飞跃。这是测试之外得到的意外启发——合成人生的价值不只是找毛病更是为修复方案提供可量化的验证手段。6. 这套方法还能怎么延伸合成人生框架改一改能应用到不少场景。一是个性化推荐评测。给虚拟人物注入明确的偏好信息看推荐模型能否在后续交互中保持偏好一致性而不是今天觉得你爱看纪录片、明天又推给你土味短剧。二是角色扮演机器人的一致性评估。不少AI角色产品需要维持稳定的人设用合成人生档案作为角色锚点后就能量化评判多轮对话下角色性格漂移的程度。三是智能客服的上下文继承测试。客服场景更长尾用户在数十轮会话里会反复提供信息很适合用合成人生模拟一段用户与客服的完整服务过程来测模型能否沿用关键事实。四是数据飞轮的自动构造。你辛辛苦苦造出来的人物档案和对话对本身就是高质量微调数据可以拿去训练模型在长对话中更好地记住用户偏好。我们已经在尝试把答错题的样本作为反例数据让模型做针对性修正效果喜人。我个人的经验是合成人生这类方法最大的价值不是它自己有多聪明而是它提供了一面可对照、可复现、可追溯的镜子。真实的用户数据你永远说不清它为什么答错但合成数据里每一条错误都能被你追到源头从而知道该优化数据、优化模型还是优化产品策略。你如果也想复现这套方案不用做得太复杂。三五个虚拟人物档案、一两百轮对话、几十道测试题足够让你对一个模型产品的记忆力形成直观判断。重点是控制好对话历史的信息投放节奏和题目的隐性难度这两步做好了数据量小点也不会影响结论的可靠性。最后说个心得AI记不住你本质上不是模型不够聪明而是大多数产品根本不把记忆当成一等公民来设计。合成人生帮我们把这个问题量化成了一个个可击破的指标剩下的就交给工程去解决了。
