您的位置首页 >人工智能 >

Tabbit 万字复盘做了一年半 Browser Use,我们学到的苦涩教训

Tabbit 团队在跟进 Browser Use 项目一年半之后,完整复盘了浏览器智能体赛道的真实落地情况,核心结论是浏览器 Agent 不是靠大模型能力堆出来就能稳定跑通,网页环境的不确定性、状态感知缺陷、动作执行偏差、成本与稳定性矛盾,是限制 Browser Use 规模化落地最核心的难题,很多团队一开始高估了大模型对网页页面的理解能力,低估了网页 DOM 结构、Shadow DOM、iframe、跨域、权限、反爬、页面动态渲染带来的干扰,单纯依赖模型输出点击、输入动作,在真实互联网页面里成功率很难稳定拉高,实验室基准测试效果好看,放到千差万别的真实网站里就会频繁失效。

网页状态感知是 Browser Use 最大的坑

早期 Browser Use 方案会预先定义页面状态和可选动作,把页面元素提取出来交给大模型判断操作,这套方案在简单静态页面表现稳定,但遇到 Shadow DOM、闭合根节点、iframe 嵌套页面时,很多按钮、输入框、弹窗组件根本无法被提取到状态树里。模型相当于看不到页面上真实存在的交互元素,哪怕元素就在屏幕可见区域,也会直接漏掉,不是模型不够聪明,是中间这一层状态解析环节把信息弄丢了。

  • 常见失效场景清单
  • 网站使用 Shadow DOM 封闭组件,无障碍树无法导出元素
  • 跨域 iframe 内嵌表单、登录弹窗、Cookie 授权弹窗
  • 页面异步动态渲染,元素加载时序不稳定
  • 网站做样式混淆、元素随机 class 命名,DOM 选择器容易失效
  • 弹窗浮层层级复杂,识别逻辑优先抓到底层页面元素

从固定动作走向 CDP 原生控制,是重要转向

项目前期团队给模型限定可选动作集合,模型只能在预设动作里做选择,可控性强但是扩展性极差,遇到页面新组件就卡住。后续团队改成让模型直接生成代码来描述观察和动作,再进一步演进到基于 CDP 协议直接操控浏览器,不再做一层厚厚的状态抽象包装。

这种方案的变化带来正反两面结果:

✅ 优势:不再由开发团队预先限定模型能看到什么、能点什么,自由度大幅提升,适配更多小众网站

❌ 劣势:模型写错 CDP 指令、定位错元素坐标、时序判断出错的概率同步上涨,调试难度变高,错误很难复现

基准测试和真实线上环境存在巨大鸿沟

绝大多数 Browser Use 公开评测都是在精选测试网站上跑,页面干净、结构标准、没有反爬、没有验证码、没有随机弹窗。一旦迁移到互联网海量真实站点,成功率会断崖下跌。

表格对比实验室测试与真实网页环境差异

维度基准测试环境真实互联网页面
页面结构静态 DOM,结构固定动态渲染、Shadow DOM、iframe 嵌套普遍
干扰项无弹窗、无验证Cookie 弹窗、登录弹窗、人机验证、广告弹窗
元素稳定性选择器长期不变class、id 随机生成,每次访问不一样
任务容错单步骤失败可重试重试容易触发网站风控、账号限制

成本、安全、用户预期三重约束

Browser Use 浏览器智能体持续运行会持续消耗大模型 token,长任务多轮调用成本很高;自动操作网页天然存在安全风险,误删信息、提交表单、访问敏感页面的风险无法完全消除;用户很容易形成过高预期,以为一句自然语言指令就能全自动跑完复杂业务流程,实际上复杂任务必须拆分、人工监督、断点重试。

团队从一年半实践里沉淀下来的落地思路,优先把复杂长任务拆成小原子任务,每个子任务设置独立校验节点,保留人工介入窗口,不要追求完全无人值守全自动。

最终沉淀的落地思路

浏览器智能体不是一个可以一步到位的产品,它的瓶颈不在大模型本身推理能力,而在浏览器和网页生态的复杂性。想要把 Browser Use 做稳定,不能只优化提示词、换更强模型,要在页面感知层、CDP 控制层、任务编排层同时做配套设计,接受它现阶段适合辅助、监督式自动化,而不是全链路无人接管。

【相关 FAQ】

问题 1:Tabbit 复盘 Browser Use 一年半实践,最核心的苦涩教训是什么?

回答 1:Tabbit 复盘 Browser Use 一年半实践得出最核心教训是,浏览器智能体最大瓶颈不是大模型能力,而是网页环境复杂多变,状态感知机制经常丢失页面交互元素,实验室测试效果无法平移到真实网站,不能单纯依靠大模型指令实现稳定自动化。

问题 2:Browser Use 早期预设状态动作方案为什么很难持续落地?

回答 2:Browser Use 早期预设状态动作方案,会提前规定模型能识别的元素和允许执行的动作,遇到 Shadow DOM、iframe 这类网页组件时元素识别失效,页面一变方案就失效,扩展性很差,无法适配互联网海量网站。

问题 3:Browser Use 改用 CDP 协议直接操控浏览器之后有哪些利弊?

回答 3:Browser Use 改用 CDP 协议直接操控浏览器,好处是解除预设动作限制,适配更多网页;弊端是模型写错指令、定位元素出错的概率上升,问题复现和调试成本更高。

问题 4:为什么 Browser Use 基准测试成绩好看,线上实际使用效果差很多?

回答 4:Browser Use 基准测试选用干净标准的测试站点,没有弹窗、验证码、动态混淆 DOM;真实网页存在大量干扰组件、随机 DOM 属性、风控校验,会直接拉低 Browser Use 任务成功率。

【参考资料】

[2026-09-15](The Bitter Lesson of Browser Agents)Browser Use 官网

[2026-06-11](美团 Tabbit 的百日狂飙)36 氪

[2026-03-09](美团 AI 浏览器,被龙虾截胡了)新浪财经

[2026-03-05](我体验了美团的 AI 浏览器,任务跑到一半窗口关了,全没了)36 氪

【免责声明】

本文内容仅基于公开文章信息整理复盘,不构成技术选型、产品开发、项目投资建议;Browser Use、Tabbit 相关技术方案持续迭代,不同版本能力、稳定性存在差异,实际落地效果受网站环境、模型选择、代码实现影响,请自行做好验证与风险评估。

今日大家都在搜的词: