跨文档同名实体消歧:替换原文之前先保护字符偏移

发布时间:2026/10/25 17:18:14
跨文档同名实体消歧:替换原文之前先保护字符偏移 同一份长文档里出现两个“张伟”可能是同一个人的不同描述也可能是两家公司的人。给它们加命名空间有助于检索但在讨论聚类模型之前有一个更朴素的错误值得先排除替换后的字符串还能不能对上原始位置假设第一处姓名被扩展成“张伟【甲公司】”后面的字符位置都会移动。只在每个实体簇里倒序替换还不够不同簇之间也共享同一条字符串必须把全部编辑按原始位置统一处理。编辑计划先于字符串修改把消歧器的输出表示为起点、终点、替代文本、实体ID先检查范围和重叠再从右向左应用。原文保持不变修改后的文本另行保存。这样语义模型即使产生坏位置执行层也能拒绝而不是悄悄污染其他实体。from dataclasses import dataclass dataclass(frozenTrue) class Edit: start: int end: int replacement: str def apply_edits(text, edits): ordered sorted(edits, keylambda e: (e.start, e.end)) previous_end 0 for e in ordered: if not (0 e.start e.end len(text)): raise ValueError(invalid span) if e.start previous_end: raise ValueError(overlapping edits) previous_end e.end result text for e in reversed(ordered): result result[:e.start] e.replacement result[e.end:] return result original 张伟审阅李明复核张伟签字。 edits [Edit(0, 2, 张伟【甲】), Edit(11, 13, 张伟【乙】)] # Obtain the second span from the untouched original, never from edited text. pos original.rindex(张伟) edits[1] Edit(pos, pos 2, 张伟【乙】) result apply_edits(original, edits) assert result 张伟【甲】审阅李明复核张伟【乙】签字。 assert original 张伟审阅李明复核张伟签字。 try: apply_edits(original, [Edit(0, 3, x), Edit(2, 4, y)]) except ValueError: pass else: raise AssertionError(overlap was accepted) print(global reverse edits, unchanged source, overlap rejection: PASS)别让命名空间制造新的事实图里的ID只表示区分不证明两次出现一定属于不同的人。真正的消歧还需要文档身份、段落、所属组织和时间。相似度阈值只能生成候选证据不足时保留“尚未确认是否同人”比强行拆成两个实体可靠。10 月21日的Kimi Code更新把插件Skill调用改成限定名避免同名技能互相遮蔽。这是另一个层面的命名空间问题不能当作文本消歧算法但它说明名字相同不意味着身份相同。官方更新这个例子已在本地验证跨位置扩长、原文不变和重叠拒绝。它没有运行NER、嵌入聚类或共指模型也没有得出消歧准确率。若要测效果应该分别标注“同名不同人”和“异名同一人”并检查重写是否引入错误归属。只统计字符串替换成功不等于语义消歧成功。

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询