乌镇这场闭门会的核心议题是 AI 生产价值该怎么衡量，和传统跑分不一样，参会的前 Anthropic、Meta 研究员提出不能只看 token 成本、基础 benchmark 分数，要落地到真实业务产出，引入 RSI 这类新指标，同时用 “经济图灵测试” 判断 AI 产出能不能被商业场景接纳，解决现在行业普遍存在的跑分好看、实际干活不划算的问题。目前大家常用的模型评测大多是固定题库跑分，没法计入人工复核、反复重试、改错消耗的时间成本，很多模型单次调用便宜，但出错多、需要大量人工兜底，综合成本反而更高，闭门会上的研究者希望搭建一套可以跨行业统一的评估体系，把任务成功率、人力返工成本、最终经济收益全部放进评估公式里，用来客观衡量 AI 的真实生产力，而不是单纯看模型参数、推理速度。
传统 AI 评测方式存在的短板
- 标准基准测试只看固定题目正确率，脱离真实业务场景，没法体现长流程、开放式任务的表现。
- 只统计 token 单价、推理耗时，忽略后续人工审核、修改、重试带来的隐性成本。
- 没有统一的验收标准，同样一份 AI 输出，不同企业、不同岗位对 “合格” 的定义差别很大。
- 很难量化 AI 产出的经济价值，只能对比模型分数，没法判断哪个模型能帮业务省钱、提效。
- 缺少对任务自主性的评估，很多 AI 只能做简单问答，复杂任务需要人持续介入，跑分却依然很高。
闭门会提出的 AI 生产力评估思路清单
- 单位 Token 预期经济产出：公式简化为任务价值 × 成功率 ÷Token 消耗，把成本和产出绑定在一起。
- 经济图灵测试：核心判断标准，AI 交付成果能不能像人工产出一样，直接被业务方验收、投入商用。
- RSI 指标体系：用来衡量 AI 智能体自主完成任务的能力，统计全程需要人类介入的次数、介入时长。
- 三层价值参照：人工成本对标、市场同类服务报价、无公开报价场景使用影子价格估算价值。
- 全链路核算：从调用、生成、审核、改错到最终交付，把整条链路的所有成本统一纳入测算。
落地评估的实操步骤
- 先给目标业务任务定义清晰验收标准，明确什么结果才算任务完成，避免验收标准模糊。
- 收集多组模型在同一任务上的测试数据，记录 token 消耗、重试次数、人工修改时长。
- 套用单位 Token 预期经济产出公式，同时记录 RSI 自主指标，横向对比不同模型。
- 用经济图灵测试做校验，交由业务人员盲审，判断 AI 成果是否可以直接交付使用。
- 持续迭代基准库，把行业真实业务案例持续补充进测试集，减少和真实业务的差距。
整体总结
这次乌镇闭门会的核心共识，就是 AI 生产能力的衡量要从单纯跑分转向经济价值评估，前 A 社、Meta 研究员带来的 RSI、经济图灵测试等思路，重点补齐传统评测看不到的人工返工、业务适配问题。这套评估框架目前还处在研讨阶段，没有形成统一行业标准，不同行业的任务价值、验收规则差异很大，后续还需要更多企业真实业务数据来打磨，长期来看，它会成为企业挑选 AI 模型、智能体的新参考方式。
【常见问题】
问题 1：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，闭门会上提到的经济图灵测试是什么？
回答 1：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，经济图灵测试是用来判断 AI 产出是否具备商用价值的标准，看 AI 交付的成果能不能像人工产出一样，直接被业务接纳、投入使用。
问题 2：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，RSI 指标主要用来衡量 AI 什么能力？
回答 2：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，RSI 是评估 AI 智能体自主完成任务的指标，用来统计复杂任务过程中需要人类介入的频次和时长，反映 AI 自主干活的水平。
问题 3：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，为什么传统跑分不能衡量真实 AI 生产能力？
回答 3：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，传统跑分只看固定题目正确率，没有计入人工复核、反复试错、改错的隐性成本，高分模型在真实业务里综合成本可能更高。
问题 4：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，这套 AI 生产力评估框架现在已经正式落地商用了吗？
回答 4：乌镇闭门会聚焦 AI 生产衡量标准，前 A 社、Meta 研究员探讨 RSI 评估框架，这套评估思路还处于闭门研讨阶段，没有形成统一行业标准，还需要大量行业业务数据持续打磨。
【参考资料】
[2026-11-13]（乌镇闭门会：AI 生产何以衡量？前 A 社、Meta 研究员谈 RSI）21 世纪经济报道
[2026-11-13]（AI 生产力如何量化？乌镇闭门研讨提出经济图灵测试）机器之心
[2026-11-12]（前沿 AI 评测新思路：从跑分走向业务价值测算）36 氪
【免责声明】
本文仅整理乌镇闭门会公开流出的研讨观点，RSI 指标、经济图灵测试等方案仍处于学术研讨阶段，尚未形成通用行业标准；不同业务场景测算逻辑存在差异，相关评估思路仅作为技术参考，不构成模型选型、采购决策依据。