您的位置首页 >科技要闻 >

腾讯 WorkBuddy 电脑操控 Computer Use 开启公测,一句话指令直接操作桌面客户端

11 月 20 日腾讯 WorkBuddy 官宣上线电脑操控(Computer Use)能力并进入公测,这项 AI 桌面操控能力可以识别电脑桌面软件界面,自动完成点击、文字输入、页面滚动等鼠标键盘操作,不需要被操作的软件开放 API 接口,老旧业务系统、内部自研客户端、没有网页版的软件都能直接用自然语言下发指令自动干活;以往自动化工具大多依赖接口对接,很多企业内部系统、小众软件没法打通,现在 WorkBuddy 靠界面视觉识别实现 GUI 自动化,用户直接在对话框说清楚任务就行,任务跑起来之后侧边画中画窗口实时展示执行进度,还能随时暂停,适合跨系统表单录入、数据查询、多客户端信息核对这类重复办公工作,不过功能还在公测阶段,界面识别稳定性受软件界面样式影响,登录、支付、删除这类敏感操作官方要求用户全程在场核对。

一、功能基础信息表

项目详情备注
产品腾讯 WorkBuddy(腾讯云 CodeBuddy 团队)AI Agent 桌面工作台
新能力名称电脑操控 Computer Use公测 Beta 版
官宣时间2026-11-20
支持系统Windows、macOS 双端
最低版本要求客户端 5.11.0 及以上需要升级后开启
必备权限辅助功能权限、屏幕录制权限用来识别界面、模拟键鼠
基础动作点击、输入、滚动、翻页
核心特性无需目标软件开放 APIGUI 视觉识别驱动
监控方式侧边画中画实时看执行过程,随时终止任务

二、典型适用场景清单

  1. 老旧业务系统:很多企业老 ERP、仓储、教务系统没有开放接口,用来录入单据、查询台账。
  2. 多客户端跨系统核对:在多个独立软件之间搬运、比对数据,批量填写表单。
  3. 重复固定流程:定期导出报表、复制信息、切换页面执行标准化操作。
  4. 小众桌面工具:没有自动化插件、没有网页端的单机客户端。

三、开启和使用步骤

  1. 升级 WorkBuddy 客户端到 5.11.0 或者更新版本。
  2. 在设置 - 智能体页面找到电脑操控功能,打开开关。
  3. 按指引去系统设置授予辅助功能、屏幕录制权限。
  4. 在对话窗口用自然语言描述想要完成的操作指令。
  5. 通过侧边小窗观察执行进度,异常时手动停止;敏感操作全程盯着,结束后复核结果。

四、这项能力优势

  1. 兼容性强,不依赖接口,打破传统 RPA 自动化必须对接开发的限制。
  2. 使用门槛低,不用写脚本,普通办公人员一句话就能发起自动化任务。
  3. 过程透明,实时画面回传,随时叫停,可控性更强。
  4. 和 WorkBuddy 原有文件处理、文档生成能力打通,可以把文件处理和桌面操作串成完整工作流。

五、当前公测阶段局限

  1. 界面识别效果不稳定,不同软件、不同 UI 布局识别准确率有差异。
  2. 不适合无人值守跑高风险任务,登录、支付、删除数据等高危操作风险高。
  3. 任务执行时,尽量不要手动操作同一个软件,容易打乱焦点造成任务失败。
  4. 属于公测版本,后续还会持续优化识别精度、动作成功率。

六、产业价值

传统 RPA 落地成本高、需要对接开发,很难普及到普通员工。WorkBuddy 这套 GUI 电脑操控,代表面向个人办公的 AI Agent 进入 “直接接管桌面” 阶段,普通人也能低成本搭建自动化流程,也是 AI 从生成内容走向自主操作本地软件的典型方向。

【相关 FAQ】

问题 1:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控能力是什么?

回答 1:WorkBuddy 上线电脑操控能力进入公测,电脑操控 Computer Use 是 WorkBuddy 新公测能力,靠界面识别模拟鼠标键盘,不用软件开放 API,一句话指令就能操作桌面客户端完成点击、输入、滚动。

问题 2:WorkBuddy 上线电脑操控能力进入公测,使用电脑操控需要什么版本和权限?

回答 2:WorkBuddy 上线电脑操控能力进入公测,客户端要升级到 5.11.0 及以上版本,同时在系统开启辅助功能权限、屏幕录制权限,支持 Windows 和 macOS。

问题 3:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控可以操作所有软件吗?

回答 3:WorkBuddy 上线电脑操控能力进入公测,理论上大部分桌面软件都可以尝试,但它依靠视觉识别界面,识别效果随软件 UI 变化,公测阶段识别稳定性有差异。

问题 4:WorkBuddy 上线电脑操控能力进入公测,用 WorkBuddy 电脑操控做敏感操作有什么要求?

回答 4:WorkBuddy 上线电脑操控能力进入公测,登录、授权、支付、提交、删除这类敏感操作,官方要求用户保持在场实时监控核对,不能交给 AI 无人运行。

问题 5:WorkBuddy 上线电脑操控能力进入公测,WorkBuddy 电脑操控和传统 RPA 最大区别是什么?

回答 5:WorkBuddy 上线电脑操控能力进入公测,传统 RPA 大多需要对接软件 API 开发,而 WorkBuddy 电脑操控靠视觉识别界面,不需要软件厂商开放接口,上手不用写脚本。

【参考资料】

[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)36 氪

[2026-11-20](WorkBuddy 上线电脑操控能力:无需开放接口,可代用户操作客户端)IT 之家

[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)财联社

[2026-11-20](腾讯 WorkBuddy 上线电脑操控能力)新浪科技

【免责声明】

本文 WorkBuddy 电脑操控公测相关信息来自 36 氪、IT 之家、财联社公开报道;该功能处于公测阶段,识别成功率、功能稳定性仍在迭代;电脑操控涉及屏幕读取、键鼠模拟,存在误操作风险,高危操作务必人工复核;本文仅作为 AI 办公工具资讯科普,不构成企业自动化系统选型建议,功能细则以 WorkBuddy 官方文档为准。

今日大家都在搜的词: