您的位置首页 >科技要闻 >

WorkBuddy上线电脑操控能力无需开放接口,可代用户操作客户端

WorkBuddy 正式上线电脑操控能力,这套能力不需要软件厂商开放专属接口,依靠屏幕识别、模拟交互的方式,直接帮用户操作电脑上各类客户端程序,不管是办公软件、客服工具、本地业务客户端都能自动执行点击、输入、翻页、复制粘贴等动作,进一步放大 Agent 自动化落地范围,解决大量没有 API 接口的老旧软件、小众客户端没法接入 AI 自动化的痛点。以往 AI Agent 想要操控电脑软件,前提都是应用方开放接口,很多企业内部系统、小众工具、老版本客户端根本没有配套接口,自动化流程就卡在这一步,只能人工手动操作。WorkBuddy 这次走的是界面感知路径,靠视觉识别定位按钮和输入框,搭配可控的模拟键鼠动作实现操作,不用对接开发者,用户自己就能配置任务流程。同时官方加了权限管控、操作确认机制,避免 AI 擅自执行高风险操作,兼顾自动化效率和使用安全。

一、WorkBuddy 电脑操控能力核心特性清单

  • 无接口依赖:不需要目标软件提供 API、Webhook,纯视觉 + 模拟交互实现客户端操控
  • 支持动作类型:点击按钮、文本输入、复制粘贴、滚动页面、截图识别、多步骤连续任务
  • 覆盖程序类型:Windows 桌面客户端、本地办公工具、企业内部业务系统、第三方小众软件
  • 安全机制:高风险操作默认开启人工确认;全程操作录屏留痕;支持限定可操作软件白名单
  • 部署形式:依托 WorkBuddy PC 端客户端运行,单独安装配套驱动组件即可启用

二、接口模式和 WorkBuddy 无接口电脑操控对比

模式对接要求适用软件风险维护成本
API 接口自动化软件厂商开放接口、开发联调主流 SaaS、新版商用软件低,指令可控高,接口变更就要改流程
WorkBuddy 无接口电脑操控无需厂商配合,用户自主配置无接口老系统、内部客户端、小众工具中等,依赖界面稳定中等,界面改版后需要重新标注元素

三、WorkBuddy 电脑操控能力使用步骤

第一步:安装 WorkBuddy PC 客户端,在设置页面找到电脑操控模块,安装配套键鼠模拟驱动,重启客户端完成初始化。

第二步:开启权限,按指引授予屏幕捕捉、模拟输入权限,这是视觉识别和自动操作的基础。

第三步:创建自动化任务,在任务编辑器里框选目标界面元素,标注点击位置、输入内容、等待条件,编排连续操作步骤。

第四步:设置安全规则,勾选高风险操作二次确认,添加软件白名单,限制 Agent 不能操作的程序。

第五步:触发运行,可以手动启动、定时启动,或者语音联动前面影石麦克风触发任务;运行时实时展示操作画面,随时中断。

第六步:查看日志,所有操作自带录屏记录,出错可以回看定位是界面识别失败还是步骤配置问题。

四、当前能力局限说明

  1. 如果软件界面频繁改版、按钮位置动态变化,识别成功率会下降,需要重新配置。
  2. 加密弹窗、系统级安全验证窗口,出于安全限制,WorkBuddy 电脑操控能力无法自动处理。
  3. Mac 端暂不支持该电脑操控能力,现阶段仅面向 Windows 平台开放测试。

五、赛道机会总结

不用接口就能操控 PC 客户端,补齐了 Agent 自动化最大一块短板。大量企业里跑了很多年的内部系统、没法改造的老旧客户端,现在都能接入 AI 自动流程,不用推动软件厂商做开发改造。这个能力也和之前影石麦克风的语音采集能力形成联动,语音下达指令,WorkBuddy 直接在电脑上完成整套操作,语音 + PC 自动化的闭环成型,会降低企业落地 AI Agent 自动化的门槛。

【相关 FAQ】

问题 1:WorkBuddy 电脑操控能力,为什么不需要开放接口也能操作客户端?

回答 1:WorkBuddy 电脑操控能力依靠屏幕视觉识别界面元素,搭配可控模拟键鼠动作执行操作,不需要软件提供 API 接口,所以可以直接操作绝大多数 PC 客户端。

问题 2:WorkBuddy 电脑操控能力自动操作客户端的时候,安全方面有哪些保障?

回答 2:WorkBuddy 电脑操控能力自带操作录屏留痕、高风险操作人工确认、软件白名单限制,防止 AI 私自执行删除、提交等高危动作,降低自动操作客户端带来的风险。

问题 3:WorkBuddy 电脑操控能力支持 Mac 电脑自动操作客户端吗?

回答 3:目前 WorkBuddy 电脑操控能力仅在 Windows 平台上线,Mac 端暂不支持这项自动操作客户端的功能。

问题 4:WorkBuddy 电脑操控和传统 API 自动化操作客户端,哪个更适合企业内部老系统?

回答 4:企业内部无接口老系统优先选 WorkBuddy 电脑操控能力,不用找厂商开发接口;标准化、持续迭代的商用软件,API 自动化会更稳定、识别故障率更低。

【参考资料】

[2026-11-20](WorkBuddy 上线电脑操控能力,无需开放接口可自动操作 PC 客户端)36 氪

[2026-11-19](Agent 新能力落地:WorkBuddy 视觉式电脑操作,打通无 API 桌面软件)机器之心

[2026-11-17](WorkBuddy PC 端更新,新增桌面端 GUI 自动化能力)腾讯科技

[2026-11-10](WorkBuddy 生态再升级,语音硬件联动 PC 自动化办公)爱范儿

【免责声明】

本文内容仅为产品资讯分享,WorkBuddy 电脑操控能力处于迭代阶段,功能范围、支持平台、安全策略均有可能调整;自动化操作存在误识别风险,重要业务操作务必开启人工确认,本文不构成企业采购和落地部署建议。

今日大家都在搜的词: