两个分数写在同一张图上未必回答同一个问题。十月的DeepSeek更新日志、Haiku 5.5发布页和Gemini 4 Argon公告都能提供官方信息在数据子集、工具权限、推理投入和评分框架没有对齐前不宜将其中数字重新排成本站天梯。最容易被忽略的是采样口径。pass1与pass5衡量的不是同一个预算。五次中任意一次通过与只给一次机会有明显差别若后者模型只生成一次再用前者的分数来比较排名里混入了机会数量。先让比较资格通过门禁下面用两条虚构记录演示比较条件检查不包含真实厂商成绩。即使任务名相同harness或passk不一致也应停在“条件不同”。keys (dataset, split, harness, k, tools, budget) def mismatches(a, b): return [k for k in keys if k not in a or k not in b or a[k] ! b[k]] a dict(datasettoy-code, splitv1, harnessh1, k1, toolslocal-only, budget100) b dict(a, k5) c dict(a, harnessh2) assert mismatches(a, b) [k] assert mismatches(a, c) [harness] assert mismatches(a, dict(a)) [] print(comparison blocked when sampling or harness differs)资格通过也不意味着能立即下显著性结论。仍需原始逐题结果检查题目是否配对、重复采样如何处理、置信区间估计是否合适。单个汇总分无法恢复这些信息不能反推一个可信的p值。官方声明与独立复测分别落款表格中应有来源发布日期、访问日期、模型身份、数据版本、框架、采样次数、工具和预算。接口名可能保持不变而检查点更新抓取日期又不是模型发布日期。只有厂商汇总时注明“官方报告”没有披露的项目留空并解释限制。对于代码任务还要看是否允许联网、是否运行额外测试、是否修改评分脚本视觉任务要看图像或视频处理方式。改动其中任何一项都可能改变问题难度。评估者访问条件也不是附属事项Anthropic于10月15日的访问政策更新说明了这一背景但不等于独立方已经复测全部结果。读十月榜单的可操作结论是先用一致条件缩小可比较集合再研究差异。集合可能很小甚至为空。这样的结论仍比拼出一张没有共同分母的“综合实力榜”有用。本文没有运行这些模型也不提供新排名。实际发稿前应人工重开来源补更正与版本变化不能将24—31日尚未核验的事件补成既成事实。本地验证上方各 Python 代码块独立保存后在 Python 3.9.6 的临时目录以python3 example.py执行退出码均为 0输出分别为comparison blocked when sampling or harness differs。数据为文中教学夹具不是模型、GPU或线上性能测量。核对截止2026-10-23相关公告日期分别为DeepSeek 10-17、Haiku 10-07、Gemini 10-13、评估者更新10-15。
