HSPR 全称分层后验分数恢复(Hierarchical Score Posterior Recovery),是一套专门用来评测 AI 代码智能体也就是 AI 程序员的新评估方法,它不用跑完 SWE-bench 全套基准测试,只需要随机或者自适应挑选 10% 的测试任务执行,就能靠贝叶斯后验推理,估算出这个 AI 程序员完整基准下的真实得分和排名,大幅砍掉评测需要的算力、时间和 token 成本,而且估算误差比普通随机抽样小很多。传统评测 AI 程序员的方式,必须跑完全部测试集,整套 SWE-bench 测试任务量大、跑一次成本很高;如果只随便抽少量测试,很容易出现结果跑偏,排名不准,而 HSPR 的核心思路是利用历史上大量 AI 程序员的测试结果,把任务按难度、特性分组,一边跑少量测试、一边动态更新模型的后验概率,再自适应挑选下一批最有价值的测试任务,持续缩小分数估算的不确定性,不是简单抽样猜结果。使用 HSPR 评估 AI 程序员的流程很清晰,先导入历史软件智能体的测试数据集,再给目标 AI 程序员分配少量测试子集,每跑完一批就更新后验分布,挑选下一批信息增益最高的测试任务,最后输出完整基准分数的估算值和置信区间。总的来说,HSPR 解决了 AI 程序员评测成本高、轻量抽样不准的痛点,用 10% 的测试预算,就能在大部分场景下稳定还原 AI 程序员的真实水平,是现在软件智能体评测领域很有价值的轻量化方案。
HSPR 核心能力清单
- 测试预算:仅需要完整基准 10% 的测试任务
- 底层原理:分层贝叶斯后验推理、自适应任务选取
- 测试基准:适配 SWE-bench 系列四大任务库
- 优势指标:3 个任务库平均误差最低,全部任务库最大误差优于其他方案
- 核心价值:降低 AI 程序员评测的算力、token、时间开销
- 输出结果:完整基准预估分数、置信区间、模型排名
HSPR 和传统抽样评测对比表
| 评测方式 | 测试用量 | 估算逻辑 | 短板 | 适合场景 |
|---|---|---|---|---|
| 完整基准测试 | 100% 全部任务 | 真实跑完所有任务,直接计分 | 算力贵、耗时长、token 消耗巨大 | 最终权威验证、正式跑分 |
| 普通随机抽样 | 10% 少量任务 | 简单取样本均值推算 | 误差波动大,AI 程序员排名容易出错 | 快速粗略看个大概 |
| HSPR 分层后验推理 | 10% 少量任务 | 历史数据 + 分组建模 + 自适应选任务,持续更新后验 | 有小幅估算误差,不是绝对精确 | 快速对比、迭代筛查、模型粗评 |
HSPR 评估 AI 程序员的操作步骤
- 加载历史 AI 程序员的基准测试数据集,完成任务分组、拟合历史响应因子
- 给目标 AI 程序员分配第一批测试任务,执行并记录成败结果
- 根据结果更新后验分布,计算每个剩余测试任务的信息增益
- 自动挑选能最大程度降低分数不确定性的下一批测试任务
- 反复迭代,直到测试任务总量达到 10% 预算上限
- 输出预估完整得分、置信区间,完成 AI 程序员能力评估
【相关 FAQ】
问题 1:HSPR 是什么,为什么只跑 10% 测试就能猜出 AI 程序员的真实水平?
回答 1:HSPR 是分层后验分数恢复评测方法,它依托历史 AI 程序员测试数据做分组建模,自适应挑选高价值测试任务,用贝叶斯推理推算全量分数,所以只用 10% 测试就能估算 AI 程序员真实水平。
问题 2:HSPR 评估 AI 程序员,对比普通随机抽样评测好在哪?
回答 2:HSPR 评估 AI 程序员不是简单随机抽题,会动态选择信息增益最高的测试,在同样只跑 10% 测试的前提下,平均误差、最大误差都优于普通随机抽样,排名更稳定。
问题 3:HSPR 评估 AI 程序员,能不能完全替代 SWE-bench 全套基准测试?
回答 3:HSPR 适合快速筛查、横向对比 AI 程序员,输出的是估算分数,存在误差;如果要做权威正式跑分,还是需要跑完完整 SWE-bench 基准测试。
问题 4:HSPR 这套评估 AI 程序员的方案,底层用到了什么核心技术?
回答 4:HSPR 评估 AI 程序员的核心是分层贝叶斯后验推理,结合历史响应因子、任务分组成功率,采用后验引导的自适应任务选取策略,持续修正预估分数。
【参考资料】
[2026-10-17](HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference)arXiv
[2026-10-17](HSPR 新方法:仅 10% 测试即可估算代码智能体完整跑分)机器之心
[2026-10-18](低成本评测 AI 程序员,HSPR 在 SWE-bench 上验证效果)Paperium
[2026-10-20](轻量化软件智能体评测方案汇总,HSPR 自适应抽样效果突出)AI 前线
【免责声明】
HSPR 相关结论来自 arXiv 预印本论文,尚未经过同行评议;HSPR 只做分数估算,存在一定误差,估算结果不能等同于 AI 程序员在完整基准上的真实跑分;不同代码智能体、不同测试集下估算精度会浮动,内容仅为技术科普,不构成模型选型、采购评测的唯一依据。
