在没有开放 API 的遗留系统、外部平台后台和老旧客户端面前,数据获取最稳妥的思路是以 RPA 为编排主导,按界面条件选择元素定位、屏幕语义识别、文件报表解析三条技术路径之一完成采集,再经过清洗、校验和标准化后落入数据仓库;纯 API 或数据库直连只在基础设施可控、schema 稳定时作为优先选项,不能覆盖的部分由 RPA 兜底。这类系统的典型难点不是 "抓不到",而是抓得不稳、口径不齐、不可追溯:界面改版会让脚本静默失效,多个后台字段命名不一致,抓到的表格散落在个人电脑里无法形成数据资产。工程上需要先对目标系统做分类审计,再按写入需求、合规要求、任务频率和团队运维能力选路径,采集层、理解层、治理层、执行层分层落地,数据先入原始层留痕,再清洗到明细层和汇总层。下面把三条 RPA 技术路径、适用边界、风险约束和入仓管道设计逐层讲清楚。
一、先界定:哪些系统属于 "无开放 API"
判断一个系统算不算无 API 遗留系统,不看上线年限,而看记录能否被程序化、稳定访问。常见形态如下:
| 系统形态 | 典型特征 | 例子 |
|---|---|---|
| C/S 架构老客户端 | 界面固定、控件自绘、无标准元素 | 早期 ERP、进销存、生产报工系统 |
| B/S 无接口老网页 | 能登录操作,但无对外 API | 内部审批系统、老版 OA、供应商门户 |
| 文件 / 共享盘事实系统 | 数据以 Excel/PDF 散落,无系统边界 | BOM 表、工艺文件、检验记录 |
| 受限开放 API | 有接口但仅对特定合作伙伴开放 | 供应商门户、承运商系统、部分电商后台 |
二、RPA 主导的三条技术路径
路径 1:界面元素定位式 RPA(传统选择器自动化)
原理
通过录制回放或编写选择器(Selector)定位按钮、输入框、表格行等标准界面元素,模拟人工登录、查询、翻页、提取结构化数据,是最成熟的 RPA 采集方式。UiPath 等工具的数据抓取向导可先选取首尾字段,自动推断表格模式,预览提取结果后生成自动化序列。
适用场景
- B/S 后台或标准 Windows 客户端,界面元素可被识别。
- 查询条件固定、报表结构稳定、周期重复的取数任务。
- 内部低风险流程,界面变更频率可控。
工程分工参考(RPA+Python 组合)
| 环节 | RPA 承担 | Python 承担 |
|---|---|---|
| 触发 | 定时器、邮件到达、表单提交 | — |
| 登录态获取 | 模拟登录或从凭据库读取 | 接收 Cookie/Token 注入请求头 |
| 页面抓取 | 不推荐(内置组件 DOM 解析弱) | requests / Playwright |
| 数据提取 | 不推荐(复杂 DOM 灵活性不足) | BeautifulSoup /lxml/ Playwright 定位器 |
| 数据落库 | 写入数据库或触发下游流程 | 清洗、去重、格式化输出 JSON |
硬约束
- 脆弱性是结构性的:按钮偏移、弹窗层级变化、分辨率调整都可能让流程静默失效。
- RPA 总拥有成本中,维护与支持约占 70%—75%,许可仅占 25%—30%;维护预算里有相当比例用于修复微小界面变更导致的崩溃。
- 不建议承载核心高频流程,更适合低频兜底或过渡期方案。
路径 2:屏幕语义理解 / Computer Use 视觉抓取
原理
底层可以是传统 RPA 脚本,也可以是视觉语言模型驱动的 Computer Use:智能体通过屏幕截图识别页面语义,像人一样判断价格、库存、单据等字段位置,再执行点击、输入、翻页操作,不依赖固定元素选择器。
适用场景
- 界面老旧、控件自绘、元素定位失效的 C/S 和 B/S 系统。
- 页面改版频繁、传统选择器反复失效的多平台后台。
- API 和元素定位 RPA 都无法覆盖、任务频率极低的兜底场景。
成本与风险
- 视觉方案需要为每一个中间状态截图支付推理成本,同一后台操作任务,视觉智能体成本约为结构化 API 的数十倍量级;只在其他路径走不通时使用。
- 视觉识别同样受分辨率、弹窗、加载状态影响,需要配套成功率监控和失败转人工策略。
- 屏幕语义理解替代元素定位后,抗改版能力明显增强,但仍需对关键字段做二次校验,不能把识别结果直接当作可信数据。
路径 3:文件报表批量解析(RPA 编排导出+解析入仓)
原理
遗留系统只支持定时导出 CSV、Excel、PDF 或数据库备份时,由 RPA 按预设清单登录系统、选择日期区间、下载报表文件,再交给解析组件提取表格;纸质单据或扫描件先经 OCR 识别,统一转成结构化记录后入仓。
适用场景
- 系统不开放查询接口,但支持报表导出。
- 对账、台账、监管报送等可容忍批处理延迟的场景。
- 纸质出入库单、检验记录等最后一段人工环节的数字化。
工程要点
- 导出频率、文件命名规则、编码格式和缺失文件要有明确约定。
- 解析层要处理合并单元格、多级表头、金额格式、日期格式和单位换算。
- OCR 结果必须带置信度标记,低置信度记录进入人工复核队列。
三、对照路径:什么时候不用 RPA
无 API 不等于只能走界面操作。以下路径在条件满足时优先级高于 RPA:
| 对照路径 | 原理 | 适用条件 | 主要风险 |
|---|---|---|---|
| 数据库只读直连 | 通过 ODBC/JDBC 或厂商驱动对底层库执行只读查询 | 基础设施可控、schema 相对稳定、纯查询报表需求 | 耦合无文档 schema,厂商补丁可能静默改字段;禁止写入 |
| 中间件 /iPaaS | 把文件导出、批量作业、专有协议翻译为标准化内部 API | 仅支持文件导出或定时批处理,近实时性要求不高 | 引入固有延迟,需围绕批处理节奏设计 |
| 专用执行网关 | 把数据库、文件、消息队列封装为带审计的标准化工具 | 高频写入、流程复杂、合规要求统一权限与审计 | 前期需设计权限模型和审计链路,不是零配置 |
四步判断法
- 写入需求是什么:纯只读优先数据库直连或中间件;需要写入则排除裸数据库直连。
- 合规审计要求多硬:金融、政务、能源等要求全程可追溯的场景,优先执行网关或带审计的中间件。
- 任务频率与实时性:高频近实时走网关或中间件+事件触发;低频兜底、可容忍延迟走 RPA 或批处理。
- 团队能维护什么:有数据库运维能力但无 RPA 脚本人力,倾向中间件 / 网关;有 RPA 运维经验且界面变更可控,RPA 可作为过渡方案。
四、数据入仓设计:四层管道
4.1 分层架构
| 层级 | 职责 | 关键动作 |
|---|---|---|
| 采集层 | 自动登录、切换账号、进入页面、修改筛选条件、抓取数据或下载报告 | 凭据从凭据库读取,不在脚本中硬编码;操作全程留痕 |
| 理解层 | 识别字段含义、处理验证码与复杂元素、抽取文本或单据内容 | 规则可枚举的走规则,非标摘要、字段缺失、格式错乱交给模型判断 |
| 治理层 | 字段标准化、异常校验、去重补全、按业务口径生成报表数据 | 日期 / 金额 / 单位 / 编码统一,跨源交叉校验 |
| 执行层 | 回写数据库、推送消息、触发复核任务、保留日志审计 | 异常有记录、有状态、有闭环 |
4.2 仓库分层落地
- 原始层(ODS):采集结果原样落库,保留截图、录屏、日志和原始文件,保证可回溯;不直接对原始层做业务加工。
- 清洗层(DWD):完成格式标准化、字段映射对齐、去重与异常剔除,把不同系统字段映射到统一业务口径,例如 "商品编码" 与 "物料号" 的对应关系。
- 汇总层(DWS/ADS):按主题域汇总成台账、日报、看板数据,供下游分析和业务系统使用。
- 增量更新:能识别变更的场景优先用变更数据捕获(CDC)监控事务日志或变更表,只转发上次读取后变化的数据,降低老旧系统的查询压力;无法做 CDC 时按批次全量比对,用业务主键做幂等覆盖。
4.3 清洗必须做的四件事
- 格式标准化:日期、金额、单位、编码统一,把几十种表格样式收敛成一套标准结构。
- 字段映射与对齐:不同系统的字段名映射到统一业务口径。
- 去重与异常剔除:剔除重复记录、空值、明显异常值,避免脏数据污染下游。
- 交叉校验:用第二个数据源验证第一个数据源,例如银行流水校验账面余额,仓库实盘校验系统库存。
4.4 权限、审计与异常设计
- 权限分离:只读任务使用最小权限只读账号;写操作使用独立服务账号,不借用个人账号;查询角色尝试触发写入必须被拒绝。
- 审计完整性:每次工具调用和数据读写生成不可篡改日志,包含时间戳、身份、操作对象、输入输出摘要,能区分人操作与自动化操作。
- 人工确认点:高风险写入或异常路径设置审批节点,确认动作本身被记录。
- 异常可恢复:界面变更、超时、数据异常时,有预设回退或转人工策略,不产生静默错误;抓取成功率下降自动告警通知运维。
五、落地推进步骤
- 系统审计(1—2 周):确认是否有文档化 API、是否存在文件导出机制、schema 是否有文档、过去 12 个月界面变更频率,明确最小权限账号。
- 路径匹配 PoC:按四步判断法为每个目标系统标注推荐路径并记录排除理由;只读与写入任务使用不同接入路径和权限边界。
- 搭采集与清洗闭环:先跑通一个高频、规则清晰、见效快的场景,例如网银流水下载或单一平台后台采集,再沉淀标准组件。
- 入仓与治理:原始层留痕、清洗层对齐口径、汇总层支撑报表,建立统一异常跟进机制。
- 扩展与自治:3—6 个月内把同类场景标准化,6 个月以上向业务部门开放低代码能力,采用 "IT 打样+业务自建+IT 托底" 模式。
六、主要风险清单
| 风险 | 表现 | 应对 |
|---|---|---|
| 把能操作界面等同于能稳定运行 | PoC 成功率与生产环境面对 UI 漂移、多分辨率、异常弹窗时存在系统性差距 | 界面自动化只作兜底路径,配套监控告警和转人工策略 |
| PoC 用高权限账号跑通,生产被权限边界卡住 | 演示环境与生产岗位 / 组织边界不一致 | 权限分离测试在 PoC 阶段完成,不留到上线前 |
| 低估发现遗留逻辑的耗时 | 认为连接器建好就完成,实际梳理无文档 schema、业务规则和边缘用例更耗时 | 预算和排期为 "发现成本" 预留显式窗口 |
| 只抓不清洗 | 抓到一堆格式各异、口径不一的原始表格,增加二次整理工作量 | 采集与清洗分层建设,治理层先于下游报表上线 |
| 自动化变成另一个数据孤岛 | 结果散落在个人电脑 Excel,无法沉淀复盘 | 统一入仓、统一调度、统一审计 |
【常见问题】
问题 1:无开放 API 的系统做数据获取,为什么优先考虑 RPA 主导的技术路径?
回答 1: 无开放 API 时,数据库直连受 schema 和授权限制,API 改造又需要厂商配合,RPA 不需要改造原有系统,覆盖 "看得见点得着" 的一切界面,部署周期以周计,操作全程可录制、可审计;在界面元素可识别时走元素定位 RPA,自绘界面或频繁改版时走屏幕语义理解 / Computer Use,只支持报表导出时走文件解析路径,因此成为无开放 API 系统数据获取的主导编排方式。
问题 2:RPA 三条技术路径在入仓设计中分别怎么落地?
回答 2: 元素定位式 RPA 负责登录查询翻页并提取表格,屏幕语义理解负责识别老旧自绘界面上的关键字段,文件报表路径负责下载 CSV/Excel/PDF 并经 OCR 解析;三条路径的采集结果都先进入原始层原样留痕,再经理解层抽取、治理层标准化与交叉校验,最后落入明细层和汇总层,全过程由执行层统一调度、落库和审计。
问题 3:无开放 API 场景下,数据库直连和 RPA 界面操作应该怎么选?
回答 3: 纯只读查询、基础设施可控、schema 相对稳定时,数据库只读直连延迟最低、上手最快,但必须使用最小权限只读账号、禁止写入,并接受厂商补丁静默改字段的风险;界面老旧、无法改动、接触不到数据库,或需要兜底覆盖时才选 RPA 界面操作;写入类需求不走裸数据库直连,应进入专用执行网关或带审计的中间件路径。
问题 4:RPA 采集的数据入仓后,怎么保证口径一致和可追溯?
回答 4: 入仓时先在原始层保留采集截图、录屏、日志和原始文件,清洗层完成日期 / 金额 / 单位 / 编码标准化和字段映射对齐,去重剔除异常后再做跨源交叉校验;每条记录关联采集任务、时间戳、操作身份和审计日志,低置信度 OCR 或异常数据进入人工复核队列,保证从业务结果可以反向追溯到具体采集操作。
【参考资料】
- [2026-11-13](无 API 遗留系统接入 AI 智能体:选型框架与评估清单)实在智能
- [2026-11-10](企业里最容易被低估的一件事,是 "数据到底怎么进来的")实在智能
- [2026-10-24](RPA + Python 爬取数据:从界面触发到结构化落库的工程化方案)腾讯云开发者社区
- [2026-08-27](解决跨境平台数据采集繁琐问题的自动化方案,跨站点自动回传)实在智能
- [2026-08-25](银行数据怎么自动采集?告别手工录入,这套方案让效率翻倍)实在智能
- [2026-08-20](Integrating Agents with a Fifteen-Year-Old System That Has No API)Labarna
- [2026-08-04](How Do You Integrate a Legacy System That Has No API?)Deck
- [2023-12-21](Studio - About Data Scraping)UiPath Docs
【免责声明】
本文内容基于公开技术资料、厂商实践文档与行业案例整理,所涉成本比例、效率提升、准确率和架构建议均为特定场景下的参考数据,会受系统环境、界面复杂度、合规要求和团队能力影响;文中路径选型不构成对任何具体产品或厂商的采购推荐。实际项目应先完成系统审计、权限评估和 PoC 验证,涉及资金、政务、能源等敏感数据时,须由企业合规、安全与 IT 部门共同评审后实施,相关实施风险由落地方自行承担。
