加权Cohens Kappa系数是专门用于有序分类标注场景比如1-5分质量打分、严重/一般/轻微/无错误这类有等级顺序的标注的一致性衡量指标相比普通Cohens Kappa它会给不同程度的打分分歧赋予不同权重更贴合标注场景的实际业务逻辑。以下是完整计算步骤结合之前的客服标注场景举例说明一、前置准备设两名标注者独立标注的样本总数为N标注的有序类别总数为k比如1-5分打分场景下k5构建k×K的混淆矩阵O其中元素Oij表示标注者A给样本打类别ii、标注者B给同一样本打类别jj的样本数量矩阵对角线元素Oii代表两名标注者打分完全一致的样本数。二、第一步定义分歧权重矩阵加权Kappa的核心是给不同程度的打分分歧赋予对应权重常用两种权重方案线性权重分歧程度和打分差值成正比差值越大权重越高二次权重分歧程度和打分差值的平方成正比对大分歧的惩罚更重是标注场景最常用的方案其中wij是混淆矩阵中第ii行第jj列位置的分歧权重完全一致的对角线位置wii0wii0打分差值越大wijwij越接近1代表分歧越严重。举个5分制标注的例子两个标注者给同一样本打5分和4分差值为1二次权重为1/(5−1)20.0625如果一个打5分、一个打1分差值为4二次权重为16/161代表这是最严重的分歧。三、第二步计算观测加权不一致率Po观测不一致率是实际标注结果中所有分歧的加权总和占总样本的比例其中分子是所有样本的分歧权重之和除以总样本数得到实际观测到的加权不一致比例。四、第三步计算随机期望加权不一致率Pe随机期望不一致率是假设两名标注者完全独立、随机打分时理论上会出现的加权不一致比例先计算两名标注者的边际分布标注者A打类别ii的总样本数标注者B打类别jj的总样本数计算随机情况下每个(i,j)(i,j)位置的期望样本数最终计算随机期望加权不一致率五、第四步计算最终加权Cohens Kappa系数κw1−Po / Pe六、结果解读标准和普通Cohens Kappa的解读标准一致加权Kappa的取值范围为-1~1κw≥0.8标注一致性优秀人工金标准可信度极高0.6≤κw0.8标注一致性良好可用于常规校准场景0.4≤κw0.6标注一致性中等需要重新对齐打分规则κw0.4标注一致性较差打分标准存在严重分歧必须重新标注补充说明当所有分歧权重wij在i≠j 时都取1时加权Kappa就退化为普通Cohens Kappa也就是只统计“完全一致/不一致”不区分分歧的严重程度仅适用于无序分类场景。图中样本50条打分情况帮忙计算所有分歧的加权总和占总样本的比例标注者A质检i列打类别 i的总样本数标注者B质检j列打类别j的总样本数 每个(i,j)位置的期望样本数 最终计算随机期望加权不一致率 50条样本加权Kappa全量计算结果本次计算基于图片中完整的50条双盲标注打分数据采用二次权重规则完成全流程推导。 基础样本信息总样本数 N50打分等级范围1~5分共 k5 个有序类别标注者A对应表格第二列质检i列标注者B对应表格第三列质检j列分歧权重规则采用二次权重 wij(i−j)2 / (k−1)2完全一致时权重为0打分差值越大惩罚权重越高。 观测加权不一致率 PoPo 计算统计所有样本的打分差值计算所有分歧的加权总和完全一致样本共27条分歧权重全部为0差值为1的样本共13条单样本权重为 1/160.0625加权总分歧为 13×0.06250.8125差值为2的样本共7条单样本权重为 4/160.25加权总分歧为 7×0.251.75差值为3的样本共2条单样本权重为 9/160.5625加权总分歧为 2×0.56251.125差值为4的样本共1条单样本权重为 16/161加权总分歧为 1×11所有分歧的加权总和为 0.81251.751.12513.6875观测加权不一致率Po3.6875 / 500.07375 标注者边际分布统计统计两名标注者各分数段的总样本数表格分数i标注者A打类别i的总样本数 Ri标注者B打类别j的总样本数 Cj12327831094181751313 期望样本数与随机期望加权不一致率 PePe计算每个(i,j)位置的期望样本数 EijRi×Cj / N结合二次权重计算加权总和最终随机场景下的加权分歧总和为10.71随机期望加权不一致率Pe10.71 / 500.2142✅ 最终加权Cohens Kappa结果代入公式计算最终系数κw1−Po / Pe1−0.07375 / 0.2142≈0.656本次标注一致性处于良好区间符合人工金标准的基础校准要求。
