腾讯 WorkBuddy 正式上线电脑操控(Computer Use)公测能力,这个 AI 智能体可以识别电脑当前页面、看懂各类客户端界面,自主完成点击、输入、滚动等键鼠操作,核心亮点是不需要目标软件提供 API 接口,老旧业务系统、封闭客户端都能直接操控;用户只需要用自然语言在对话框下达任务指令,它会自动拆解步骤依次执行,侧边画中画小窗实时展示操作进度,用户可以一边看进度一边做别的工作,随时能叫停任务,目前功能只开放给 Windows 和 macOS 平台,客户端要升级到 5.11.0 及以上版本,还要手动授予屏幕录制、辅助功能权限,官方提醒登录、支付、删除这类敏感操作必须有人在场盯着,避免误操作带来风险。
一、电脑操控功能基础信息表
| 项目 | 详情 | 备注 |
|---|---|---|
| 功能名称 | 电脑操控 Computer Use | 公测 Beta 阶段 |
| 支持系统 | Windows、macOS | 暂不支持 Linux、鸿蒙电脑版 |
| 最低客户端版本 | 5.11.0 | 需要更新后在设置 - 智能体里开启 |
| 必需权限 | 屏幕录制、辅助功能权限 | 用来识别界面、模拟鼠标键盘 |
| 核心操作 | 识别页面、点击、输入文字、滚动页面 | 不依赖软件 API |
| 监控方式 | 侧边画中画小窗实时预览 | 支持随时中断任务 |
二、典型适用场景清单
- 老旧企业内部业务系统录入,很多老系统没有开放接口,靠人工填表单、查数据,交给 WorkBuddy 自动录入核对。
- 跨多个客户端联动操作,比如先在仓储软件查单号,切换到资产系统填写登记信息。
- 网页端批量操作,配合浏览器扩展,完成信息检索、复制录入、翻页滚动。
- 重复固定流程工作,定期导出报表、筛选列表、复制信息,减少人工重复操作。
三、使用操作步骤
- 把 WorkBuddy 桌面客户端升级到 5.11.0 或者更高版本。
- 打开设置页面,找到智能体分类,开启电脑操控功能,按系统提示授权屏幕录制、辅助功能权限。
- 在对话窗口直接用大白话描述完整任务,写明要操作哪个软件、做什么动作。
- 启动任务,侧边弹出小窗查看实时操作画面,中途发现不对可以随时停止。
- 任务跑完之后,WorkBuddy 会在对话里反馈执行结果,告诉你是否成功、有没有异常。
四、功能限制和风险提示
- 界面识别效果不稳定,界面元素复杂、主题样式特殊的软件识别容易出错。
- 不能自动绕开验证码、滑块验证,遇到人机验证会卡住任务。
- 敏感操作风险高,支付、账号登录、数据删除、提交审批这类操作不建议全自动跑。
- 不建议用户同时手动操作同一个窗口,焦点冲突容易造成任务错乱。
- 权限可以随时在系统设置里收回,关闭权限之后电脑操控能力立刻失效。
五、和以往浏览器插件操控的区别
之前 WorkBuddy 的浏览器操控只局限 Chrome、Edge 浏览器,只能在网页里面操作;这次新增的电脑操控能力是全局桌面能力,桌面客户端、独立软件都能识别操作,不局限浏览器生态,适用范围更广。
【相关 FAQ】
问题 1:腾讯 WorkBuddy 上线电脑操控能力,这个能力原理是什么?
回答 1:腾讯 WorkBuddy 上线电脑操控能力,它通过屏幕截图识别当前页面 UI 元素,再调用系统辅助功能模拟鼠标点击、键盘输入、页面滚动,不需要目标软件开放 API 接口就能执行操作。
问题 2:腾讯 WorkBuddy 上线电脑操控能力,哪些电脑系统可以用?
回答 2:腾讯 WorkBuddy 上线电脑操控能力,现阶段公测只支持 Windows 和 macOS 系统,客户端版本需要升级到 5.11.0 及以上,Linux、鸿蒙电脑版本暂时还没有适配。
问题 3:腾讯 WorkBuddy 上线电脑操控能力,使用的时候需要开什么权限?
回答 3:腾讯 WorkBuddy 上线电脑操控能力,必须授予屏幕录制权限用来识别页面内容,还要开启辅助功能权限,用来模拟鼠标点击、键盘输入、滚动等动作。
问题 4:腾讯 WorkBuddy 上线电脑操控能力,敏感操作可以放心交给它自动跑吗?
回答 4:腾讯 WorkBuddy 上线电脑操控能力,官方明确不建议全自动跑登录、支付、删除、提交这类敏感操作,这类操作最好人在电脑前实时监控,防止识别出错造成损失。
问题 5:腾讯 WorkBuddy 上线电脑操控能力,它和之前浏览器操控插件是一回事吗?
回答 5:腾讯 WorkBuddy 上线电脑操控能力,二者不一样,浏览器扩展只能操控网页,新的电脑操控是桌面全局能力,可以识别和操作各类本地客户端软件,适用场景更广。
【参考资料】
[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力:能识别当前页面,进行点击、输入、滚动等操作)IT 之家
[2026-11-20](WorkBuddy 上线电脑操控能力:无需开放接口,可代用户点击输入)凤凰网科技
[2026-11-20](腾讯 WorkBuddy 上线电脑操控 Computer Use 能力)财联社
[2026-11-20](腾讯 WorkBuddy 新增电脑操控,AI 智能体直接接管桌面客户端)快科技
[2026-11-20]( 腾讯 WorkBuddy 上线电脑操控能力 )新浪科技微博
[2026-11-19](WorkBuddy 电脑应用操控 Beta 实测,AI 智能体本地操作桌面软件)人人都是产品经理
【免责声明】
本文腾讯 WorkBuddy 电脑操控能力信息来自官方发布和媒体实测报道,功能处于公测阶段,识别成功率、可用范围会持续迭代调整;电脑操控存在误识别、误操作风险,涉及企业核心数据、资金、账号相关操作请谨慎使用,本文内容仅作为行业资讯科普,不构成企业落地部署建议,功能详情、安全规范以腾讯 WorkBuddy 官方文档为准。
