新的评测结论显示，简单的关键词检索（BM25）在智能体工具选择任务里，检索命中率和 80 亿参数嵌入模型达到相近水平，打破了大家默认必须用大向量模型做工具召回的固有认知，关键词检索不需要 GPU、不用跑模型推理，CPU 就能快速计算，部署成本、延迟远低于 8B 嵌入模型，只是它对工具命名、函数名称的规范度要求更高，适合工具名字表意清晰、关键词特征明显的智能体场景；80 亿嵌入模型靠语义向量匹配，能理解同义词、模糊表达，对命名杂乱、语义隐晦的工具集更稳，但是要占用显存、推理耗时更长，运维还要维护向量库。本次评测在 200 道智能体工具检索测试集上对照，关键词检索方案和 8B 嵌入模型在召回指标上基本持平，适合预算有限、追求低延迟的 Agent 开发，复杂模糊查询场景依旧推荐嵌入模型或者混合检索方案。
关键词检索 vs 80 亿嵌入模型对比表
| 方案 | 核心原理 | 硬件依赖 | 优势 | 短板 |
|---|---|---|---|---|
| 关键词检索（BM25） | 词频、逆文档分匹配 | 仅 CPU，无 GPU 需求 | 速度快、成本低、部署简单 | 对同义词、语义模糊查询弱，依赖规范命名 |
| 80 亿嵌入模型 | 文本向量化、语义相似度计算 | 需要 GPU 显存 | 理解语义、同义词，兼容命名不规范工具 | 推理慢、显存开销大、要维护向量库 |
关键词检索做智能体工具选择落地步骤清单
- 工具元数据预处理：把工具名称、功能描述、入参说明做分词、清洗，统一命名规范
- 建立关键词索引：基于 BM25 搭建倒排索引，存入轻量检索库
- 用户 Query 分词：对智能体收到的用户指令做分词，提取核心检索词
- 工具召回打分：用关键词检索返回 Top 候选工具
- 大模型二次筛选：交给 LLM 从候选列表里确认最终调用工具
- 监控迭代：统计召回失败案例，持续优化关键词和工具命名
适用场景清单
- 适合：工具名称直白、功能描述关键词清晰、并发高、延迟敏感、预算有限的智能体
- 不适合：工具命名随意、别名多、大量同义改写、隐晦语义查询的 Agent 系统
混合方案优化思路
- 优先关键词检索快速召回候选集，缩小范围
- 少量候选再用轻量嵌入模型重排，兼顾速度和语义能力
- 故障分流：关键词检索置信度低时，自动切换到 8B 嵌入模型
【常见问题】
问题 1：关键词检索在智能体工具选择上追平 80 亿嵌入模型，是不是关键词检索全面更强？
回答 1：关键词检索在智能体工具选择上追平 80 亿嵌入模型，只是在规范命名的工具集评测指标持平，不是全面更强；关键词检索胜在速度和成本，80 亿嵌入模型处理模糊语义、同义词的能力依旧更好。
问题 2：关键词检索做智能体工具选择，需要向量数据库吗？
回答 2：关键词检索做智能体工具选择不需要向量数据库，依靠倒排索引、BM25 算法就能完成，省去嵌入推理、向量存储的开销，和 80 亿嵌入模型的向量检索路线完全不一样。
问题 3：智能体工具选择场景，什么时候优先选 80 亿嵌入模型？
回答 3：智能体工具选择场景里，如果工具命名混乱、别名多、用户提问表达很灵活、大量同义转述，就优先选择 80 亿嵌入模型，靠语义匹配提升召回准确度。
【参考资料】
[2026-11-14]（Keyword search tied an 8B embedding model at picking agent tools）FeedworthyAI
[2026-11-14]（BM25 关键词检索在智能体工具选择任务对标 8B 嵌入模型）AIKraft
[2026-11-13]（Keyword search is all you need：Agent 工具检索新结论）Towards Data Science
[2026-11-08]（Qwen3-Embedding-8B 模型能力与 MTEB 评测）ModelScope
【免责声明】
本文仅整理本次智能体工具选择公开评测结论，关键词检索和 80 亿嵌入模型的实际效果受工具命名规范、查询类型、数据集影响，不代表所有 Agent 场景都适用，不构成技术选型强制建议。