批改开放式试题一直是高等教育最难啃的瓶颈之一。选择题可以秒级机评但论文、证明题和算法设计题依赖人工判断而人工判断慢、贵且不一致。西班牙埃斯特雷马杜拉大学团队近日开源了 EvaluAI——一个用大语言模型批改自由文本作业、生成反馈并交由教师审核的平台论文发表于期刊 SoftwareX采用 Apache-2.0 许可证部署在用户自有基础设施上而非锁定在商业云服务中。平台采用三阶段工作流教师先用机器可读的评分标准定义题目、分值和各评分项描述学生提交的 PDF含扫描手写试卷以单份或批量方式导入随后系统生成量化分数与定性反馈教师通过并排审核界面对照检查、修正和确认。这一“人在回路”设计把 AI 初评的“临时考试”与教师审核后的“最终考试”区分开来与全自动评分流水线划清界限。架构上EvaluAI 为模块化客户端—服务器三层结构展示层是 React 单页应用逻辑层是 Python 编写的 FastAPI 后端通过 RESTful 端点校验请求并委派给用户、评分标准和考试管理组件以及一个负责文档处理、提示词构建和对接外部 LLM 服务的编排服务数据持久化使用 MongoDB Atlas。账户凭据以加盐 bcrypt 哈希存储全部 API 端点实施基于 JWT 的令牌认证和逐资源所有权校验。评估编排器接入 Google Gemini 3.6 Flash API但模块化设计把具体模型交互与评分流程隔离机构可换用其他模型包括 OpenAI 兼容客户端而无需重写核心管线。批量处理可按用户指定的每份页数把大 PDF 拆分为单个学生记录一次操作完成整届评分。验证研究使用了该校“算法分析与设计”课程的真实学生提交。初始数据集含 14 名学生其中 1 份因原始评分记录无法找回教师分数而被剔除最终 13 份。每份作业在两种条件下评估无结构化评分标准以及使用平台内形式化评分标准引导。两种条件均使用同一 Gemini 模型和相同生成配置温度 0.3最大输出 8000 token考虑到 LLM 的非确定性每份作业在每种条件下独立评估三次共产生 78 次评估。结果是一个值得所有部署 AI 评分者理解的悖论。无评分标准时与教师分数的归一化一致性指标平均绝对误差为 0.110引入评分标准后MAE 反而略升至 0.132。换言之加入结构化评分标准并未提升与原始教师评分的一致性。作者将其归因于时间错配参考分数是在原课程评估时给出的早于 EvaluAI 所用结构化评分标准的形式化而标准引导条件会施加显式扣分例如代码文档等项原评分时权重可能不同。AI 未必批错了它只是按一套更明确、不同于人类评分者的标准在打分。评分标准真正见效的地方是一致性。由于 LLM 具有随机性同一份作业重复运行可能得到不同分数这对任何评估系统都是严重问题。无评分标准时三次重复总分在各份作业间的平均标准差为 0.045组内相关系数 ICC(2,1)按 Shrout 与 Fleiss 的双向随机效应公式计算为 0.910评分标准引导下平均标准差降至 0.016ICC 升至 0.986。运行间稳定性显著收紧说明把评分标准编码为数字规则能约束模型推理使分数更可复现即便这些分数与某位人类评分者的判断存在差异。运营经济性同样值得注意。13 份作业的完整批量处理约需 4.5 至 7.5 分钟78 次评估全部成功。按研究时适用的 Gemini 3.6 Flash API 价格每次提交评估成本估计约 0.006 至 0.010 美元约 0.04 至 0.07 元人民币。对面对成百上千份试卷的教师而言这相当于每名学生几分钱就能获得近乎即时的形成性反馈而教师通过审核界面保留最终决定权。作者也谨慎列出局限参考分数来自单一教师且并非用形式化评分标准产生实验未将评分标准结构的影响与额外提供的评分信息隔离开反馈质量未经正式评估教师未审核 AI 评估结果因此无法观察纠错率。研究者认为该平台还打开了此前受人工评分时间和规模限制的研究问题近乎即时的反馈相较传统延迟评分周期如何影响复杂技术概念的留存评分标准粒度如何影响人类专家与自动代理之间的评分者间信度以及跨数千份回答和多个学期追踪学生误解的演变模式以识别课程体系中的系统性缺口。与 e-rater、Gradescope、Turnitin Feedback Studio 等成熟系统以及 Grade-Like-a-Human、GradeHITL、LLM-Rubric、CourseEvalAI 等近期基于 LLM 的研究框架相比EvaluAI 的特点是在单一平台中同时提供开源许可、结构化评分标准、手写与 PDF 支持、批量评分、人工审核和用户自主部署。未来工作将针对复杂图表与手写示意的更好解析、不同 LLM 的系统性比较以及完整的逐次评估溯源记录使每一项评分决定都可完全审计。
