11 月 20 日腾讯 WorkBuddy 官宣上线电脑操控(Computer Use)能力并进入公测,这项 AI 桌面操控能力可以识别电脑桌面软件界面,自动完成点击、文字输入、页面滚动等鼠标键盘操作,不需要被操作的软件开放 API 接口,老旧业务系统、内部自研客户端、没有网页版的软件都能直接用自然语言下发指令自动干活;以往自动化工具大多依赖接口对接,很多企业内部系统、小众软件没法打通,现在 WorkBuddy 靠界面视觉识别实现 GUI 自动化,用户直接在对话框说清楚任务就行,任务跑起来之后侧边画中画窗口实时展示执行进度,还能随时暂停,适合跨系统表单录入、数据查询、多客户端信息核对这类重复办公工作,不过功能还在公测阶段,界面识别稳定性受软件界面样式影响,登录、支付、删除这类敏感操作官方要求用户全程在场核对。
一、功能基础信息表
| 项目 | 详情 | 备注 |
|---|---|---|
| 产品 | 腾讯 WorkBuddy(腾讯云 CodeBuddy 团队) | AI Agent 桌面工作台 |
| 新能力名称 | 电脑操控 Computer Use | 公测 Beta 版 |
| 官宣时间 | 2026-11-20 | |
| 支持系统 | Windows、macOS 双端 | |
| 最低版本要求 | 客户端 5.11.0 及以上 | 需要升级后开启 |
| 必备权限 | 辅助功能权限、屏幕录制权限 | 用来识别界面、模拟键鼠 |
| 基础动作 | 点击、输入、滚动、翻页 | |
| 核心特性 | 无需目标软件开放 API | GUI 视觉识别驱动 |
| 监控方式 | 侧边画中画实时看执行过程,随时终止任务 |
二、典型适用场景清单
- 老旧业务系统:很多企业老 ERP、仓储、教务系统没有开放接口,用来录入单据、查询台账。
- 多客户端跨系统核对:在多个独立软件之间搬运、比对数据,批量填写表单。
- 重复固定流程:定期导出报表、复制信息、切换页面执行标准化操作。
- 小众桌面工具:没有自动化插件、没有网页端的单机客户端。
三、开启和使用步骤
- 升级 WorkBuddy 客户端到 5.11.0 或者更新版本。
- 在设置 - 智能体页面找到电脑操控功能,打开开关。
- 按指引去系统设置授予辅助功能、屏幕录制权限。
- 在对话窗口用自然语言描述想要完成的操作指令。
- 通过侧边小窗观察执行进度,异常时手动停止;敏感操作全程盯着,结束后复核结果。
四、这项能力优势
- 兼容性强,不依赖接口,打破传统 RPA 自动化必须对接开发的限制。
- 使用门槛低,不用写脚本,普通办公人员一句话就能发起自动化任务。
- 过程透明,实时画面回传,随时叫停,可控性更强。
- 和 WorkBuddy 原有文件处理、文档生成能力打通,可以把文件处理和桌面操作串成完整工作流。
五、当前公测阶段局限
- 界面识别效果不稳定,不同软件、不同 UI 布局识别准确率有差异。
- 不适合无人值守跑高风险任务,登录、支付、删除数据等高危操作风险高。
- 任务执行时,尽量不要手动操作同一个软件,容易打乱焦点造成任务失败。
- 属于公测版本,后续还会持续优化识别精度、动作成功率。
六、产业价值
传统 RPA 落地成本高、需要对接开发,很难普及到普通员工。WorkBuddy 这套 GUI 电脑操控,代表面向个人办公的 AI Agent 进入 “直接接管桌面” 阶段,普通人也能低成本搭建自动化流程,也是 AI 从生成内容走向自主操作本地软件的典型方向。
【相关 FAQ】
问题 1:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控能力是什么?
回答 1:WorkBuddy 上线电脑操控能力进入公测,电脑操控 Computer Use 是 WorkBuddy 新公测能力,靠界面识别模拟鼠标键盘,不用软件开放 API,一句话指令就能操作桌面客户端完成点击、输入、滚动。
问题 2:WorkBuddy 上线电脑操控能力进入公测,使用电脑操控需要什么版本和权限?
回答 2:WorkBuddy 上线电脑操控能力进入公测,客户端要升级到 5.11.0 及以上版本,同时在系统开启辅助功能权限、屏幕录制权限,支持 Windows 和 macOS。
问题 3:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控可以操作所有软件吗?
回答 3:WorkBuddy 上线电脑操控能力进入公测,理论上大部分桌面软件都可以尝试,但它依靠视觉识别界面,识别效果随软件 UI 变化,公测阶段识别稳定性有差异。
问题 4:WorkBuddy 上线电脑操控能力进入公测,用 WorkBuddy 电脑操控做敏感操作有什么要求?
回答 4:WorkBuddy 上线电脑操控能力进入公测,登录、授权、支付、提交、删除这类敏感操作,官方要求用户保持在场实时监控核对,不能交给 AI 无人运行。
问题 5:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控和传统 RPA 最大区别是什么?
回答 5:WorkBuddy 上线电脑操控能力进入公测,传统 RPA 大多需要对接软件 API 开发,而 WorkBuddy 电脑操控靠视觉识别界面,不需要软件厂商开放接口,上手不用写脚本。
【参考资料】
[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)36 氪
[2026-11-20](WorkBuddy 上线电脑操控能力:无需开放接口,可代用户操作客户端)IT 之家
[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)财联社
[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)新浪科技
【免责声明】
本文 WorkBuddy 电脑操控公测相关信息来自 36 氪、IT 之家、财联社公开报道;该功能处于公测阶段,识别成功率、功能稳定性仍在迭代;电脑操控涉及屏幕读取、键鼠模拟,存在误操作风险,高危操作务必人工复核;本文仅作为 AI 办公工具资讯科普,不构成企业自动化系统选型建议,功能细则以 WorkBuddy 官方文档为准。
