核心结论：把 "老师傅的判断" 做成 AI Skill，靠喂历史样本让模型自己学几乎必然失败，正确做法是把人的判断拆成 AI 能执行的四层：L1 采集层负责把该拿的材料收齐，L2 信息层把非结构化材料抽成带置信度的结构化输入，L3 规则层把显性业务约束写成可执行规则，L4 判断层只起草决定、给出可追溯依据和置信度，最终拍板留给人。原因有三：长尾案子样本太少训练不出稳定判断；老师傅的依据是 "感觉"、本人都没显性化；模型错一次和老师傅错一次的代价完全不对等，没人敢让它全自动。落地路径就是顺着四层逐层交付 —— 先定义清单和校验，再做字段抽取与置信度，再写版本化规则，最后让 AI 出建议而非结论，并挂一条记录 "为什么改" 的反馈闭环。下面逐层拆开讲。
一、为什么 "直接让 AI 学老师傅" 会失败
- 样本不够：老师傅一年处理 2000 个案子，真正需要判断力的长尾案子可能只有 50 个，50 个样本训练不出稳定判断。
- 判断依据是隐性的：问他怎么判断该不该批，答案是 "感觉"" 就是不对 "，他自己也没把过程显性化。
- 错误代价不对等：模型错一次只是麻烦，老师傅错一次可能损失几十万，这种场景没人敢放开全自动。
所以思路不是 "让 AI 学人"，而是 "把人拆开"—— 拆成 AI 能做的部分和人必须保留的部分。
二、四层结构总览
| 层级 | 职能 | 一句话目标 |
|---|---|---|
| L1 采集层 | 拿到该拿的东西 | 材料齐、格式对、有时点 |
| L2 信息层 | 原始材料变结构化输入 | 每字段有置信度和出处，缺字段报错 |
| L3 规则层 | 显性业务约束写成规则 | 版本化、无冲突、命中率可统计 |
| L4 判断层 | 起草最终决定并给理由 | 给建议不给结论，依据可追溯 |
L1 采集层：把散落的信息收齐
- 失败模式：该拿的没拿到（漏关键文件）；拿到但格式不对（扫描件、手写、方言录音）；拿到但过期（用了旧版价格表）。
- 设计要点：
- 清单化：每类任务定义 "必须齐的材料"，缺一项不进下一层。
- 格式校验：进 L2 之前先验能不能解析。
- 时点标注：每条信息带来源和时间。
- 提醒：这层最容易被低估，很多项目在 L2/L3 反复调优，最后才发现是 L1 漏了关键输入。
L2 信息层：非结构化材料变结构化输入
- 典型任务：合同 → 关键条款 + 金额 + 期限 + 违约条件；客户对话 → 需求点 + 顾虑 + 决策人；现场照片 → 面积 + 材质 + 问题点。
- 失败模式：抽取抽错（含税 / 不含税混淆）；抽到但不标置信度，对错混在一起；关键字段缺失时静默跳过。
- 设计要点：
- 每个字段带置信度和来源位置（原始文档第几页第几行）。
- 缺字段显式报错，不能默认填充。
- 关键数值二次校验（金额位数、单位量级）。
L3 规则层：把显性业务约束写成可执行规则
这是老师傅经验里最容易显性化的部分，以采购审批为例：
- 单笔超过 X 万必须走招标；
- 供应商成立不足 1 年需额外提供担保；
- 同类物料 3 个月内已采购的需说明理由；
- 报价偏离历史均价 ±30% 需二级复核。
- 失败模式：规则写死业务变了没更新；规则互相冲突（A 说必须招标、B 说可直采）；规则太严导致 90% 的单子都进人工，等于没自动化。
- 设计要点：规则带版本号和生效日期；上线前跑历史数据做冲突检测；统计命中率，某条规则触发率超过 50% 说明阈值定错了。
L4 判断层：做最终决定并给出理由
关键设计：不是让 AI 做决定，是让 AI 起草决定。输出格式示例：
{
"建议": "批准",
"置信度": 0.82,
"依据": [
"供应商成立 4 年（满足）",
"报价低于历史均价 12%（在合理区间）",
"3 个月内无同类采购（无重复）"
],
"需人工确认的点": ["质保条款第 7 条表述模糊"]
}
人只需要判断那个 "需人工确认的点" 重不重要，比从头看材料快 10 倍。
- 失败模式：给了结论没给依据（人不敢用）；依据是编的（更危险）；什么都标成 "需人工确认"（等于没干活）。
- 设计要点：依据必须可追溯到 L1/L2 具体数据；置信度要校准（说 0.8 时实际正确率应在 75%—85%）；人工介入率是核心指标。
三、四层之外：反馈闭环
四层只解决 "怎么拆"，不解决 "怎么变好"，必须加闭环：
L4 的决定 → 人工修正 → 修正记录 → 回灌到 L3 规则 / L2 抽取
关键：人工修正不是 "改一下就完了"，要记录 "为什么改"：
{
"原建议": "批准",
"实际": "驳回",
"原因分类": "资质问题",
"具体说明": "供应商经营范围不含该品类"
}
每积累 20—30 条修正记录，就可以提出一条新规则或调整一个阈值。
四、验收标准：别用 "准确率 90%" 这种模糊说法
| 指标 | 定义 | 合格线 |
|---|---|---|
| 建议采纳率 | 人工直接采纳 AI 建议的比例 | > 60% |
| 人工介入率 | 需人工额外处理的案例比例 | 20—40% |
| 依据可追溯率 | 依据能对应到原始数据的比例 | > 95% |
| 兜底触发率 | 异常情况进入兜底流程的比例 | < 5% |
为什么采纳率只要求 60%？剩下 40% 里有一部分本来就该人工判断；要求 95% 采纳率，等于要求 AI 承担不该它承担的责任。
【常见问题】
问题 1：AI Skill 的四层交付结构是哪四层，各自管什么？
回答 1：四层从下到上是 L1 采集层（收齐材料、格式校验、带时点）、L2 信息层（把材料抽成带置信度和出处的结构化字段）、L3 规则层（显性业务约束写成版本化可执行规则）、L4 判断层（起草建议、给依据和置信度，最终决定留给人），核心是把老师傅的判断逐层拆开而不是让模型自己学。
问题 2：为什么不能直接把老师傅的历史输出喂给 AI 让它学会？
回答 2：三个原因：长尾判断类案子样本太少训不出稳定判断；老师傅的判断依据是隐性 "感觉"、没显性化；模型和人的错误代价不对等，没人敢让它全自动，所以必须拆成 AI 可执行、人可兜底的层级。
问题 3：L4 判断层为什么是 "给建议不给结论"？
回答 3：因为高代价决策不能由模型独自拍板，AI 只输出建议、置信度、可追溯依据和需人工确认的点，人判断疑点轻重后定稿；这样既提速又把责任留在人身上，避免依据编造和全部甩锅人工。
问题 4：四层 Skill 做完怎么验收，看什么指标？
回答 4：看四个硬指标：建议采纳率 >60%、人工介入率 20—40%、依据可追溯率 >95%、兜底触发率 <5%；不要用模糊的 "准确率 90%"，采纳率过高反而说明规则太松、把该人担的责任推给了 AI。
问题 5：四层结构上线后怎么持续改进？
回答 5：靠反馈闭环：L4 决定被人工修正后，记录 "为什么改"（原建议、实际结果、可枚举原因分类、具体说明），每积累 20—30 条就回灌到 L3 规则或 L2 抽取，新增规则或调阈值，而不是只记 "改了什么"。
【参考资料】
- [2026-11-14]（AI Skill 的四层交付结构：把老师傅的判断拆开）阿里云开发者社区
- [2026-01-22]（Building agents with Skills: Equipping agents for specialized work）Claude by Anthropic
- [2025-10-16]（Equipping agents for the real world with Agent Skills）Anthropic Engineering
- [2026-01-13]（Agent Skills 终极指南：入门、精通、预测）人人都是产品经理
【免责声明】
本文为方法论解读，四层结构与验收指标来自公开技术文章，适用于流程可拆解的企业判断类场景；具体阈值（如采纳率、介入率）需结合自身业务风险等级校准，不构成通用工程规范。