您的位置首页 >人工智能 >

深势科技基于 AgentLoop 构建科研 Agent 运行观测体系的实践

《深势科技基于 AgentLoop 搭建科研 Agent 运行观测体系:让长任务执行从黑盒变可追踪》

直接给结论:深势科技把阿里云 AgentLoop 接入自研科研 Agent 的 Shrimp Runtime,对关键调用、耗时和 Trace 做运行观测,并让这些信号与任务状态、外部作业、执行步骤、研究产物记录协同,解决科研 Agent"调用成功却不知道任务是否真完成、异常卡在哪一步" 的黑盒问题。这套体系不替代科学验证,而是把执行过程变可见、异常可定位、迭代有据可查。下面从科研 Agent 的独特难题、观测体系怎么搭、三类异常怎么排查、以及它和既有基础设施怎么分工讲清楚。

一、科研 Agent 为什么比通用 Agent 更需要观测

深势科技围绕 AI for Science 构建科研 Agent 生态:通用任务的 SciMaster、材料场景的 MatMaster、生物场景的 BioMaster,并通过玻尔科学导航、玻尔科学空间、Bohr-CLI 把文献研究、数据处理、科学计算和结果交付接入科研人员日常。科研任务通常要检索文献数据、调用专业工具、跑科学计算再分析验证,它的独特难点有三个:

  • 黑盒难定位:一次任务可能串联文献解析、知识检索、建模仿真、实验数据分析,工具、参数、依赖环境、返回结果任一环节异常,都难判断问题出在模型判断、工具调用还是外部计算环境。
  • 长周期异步:既有即时反馈的在线代码执行,也有提交后独立运行、按任务 ID 查询的离线作业,任务会经历等待、中断、断线、恢复、取消收尾;一次工具调用结束不等于整项任务完成。
  • "能跑"≠"可信":命令运行成功只代表工具具备最小可执行性,数值误差、约束满足、交付物是否达成研究目标,还要结合参数、日志、原始结果和评分项另行验证。

二、观测体系怎么搭:三层分工,互不替代

在既有 Agent Infra 中,AgentLoop 承担调用、耗时与 Trace 的运行观测;耐久执行、异步作业、Workspace 产物留存和科研评测由深势既有机制承担。三层回答不同问题:

层级回答的问题谁承担
运行观测调用发生了什么、耗时多久、异常集中在哪AgentLoop
业务记录任务和外部作业现在处于什么状态深势既有任务 / 作业管理
科学验证计算与交付物是否满足研究目标科研评测与人工判断

观测信号与业务记录衔接,但不互相替代 —— 不能仅凭单次调用成功就判定科研任务完成。

三、三类典型异常的排查路径

面对 "任务长时间没有完成",先区分是哪一类现象,再走对应路径:

现象排查路径
工具调用报错核对失败调用、输入参数和依赖环境
外部计算长时间等待按任务 ID 查看作业状态、日志与进度
页面没有更新同时检查服务端任务状态与已接收的事件游标,区分 "仍在执行" 还是 "过程读取需要恢复"

AgentLoop 提供关键调用链路的运行观测,研发人员能看到任务卡在哪个环节、哪里异常,再结合实际任务状态分析,减少盲目排查。

四、长任务的恢复与收尾机制

观测之外,深势用耐久执行机制保证长任务不丢失:

  • 执行中断恢复:用 Restate journal 记录已完成步骤,服务中断后复用已有记录,继续前先核对外部作业状态,状态允许再继续。
  • 断线续读:页面断线后通过事件游标继续读取过程信息。
  • 取消收尾:收到取消请求后停止关联执行,确认资源与计费收尾,再进入 "已取消" 终态,避免后台继续重试。

任务状态、业务步骤、外部任务 ID、产物位置被关联在一起,用于核对长任务进展,降低重复执行和状态误判。

五、观测之后怎么闭环迭代

AgentLoop 平台侧提供从观测到优化的完整工具链:

  • 全栈可观测:Trace 逐 Span 查看模型输入输出、工具参数、耗时与 Token 消耗;Agent 总览看会话数、对话数、用户数、Token 用量、平均耗时。
  • 评估器:支持 Agent-as-a-Judge 与预置 / 自定义评估器(正确性、任务完成度、步骤效率、工具选择合理性、幻觉检测等)。
  • 数据资产化:Trace 导入数据集,人工标注后拆出 Golden Set(回归黄金基准)与 BadCase Set(定向优化)。
  • 资产版本管理:Prompts、Skills 集中管理、版本对比、灰度迭代。
  • 闭环:观测 → 评估 → 数据资产化 → 资产优化 → 上下文增强,形成自进化飞轮;按数据、工具、Agent 编排、模型分层定位差距,用固定条件下的版本比较和回归测试验证改进。

六、配套的 "读、算、做" 能力底座

观测体系之上,深势把科研能力概括为 "读、算、做":

  • 读:处理论文、公式与知识线索;
  • 算:围绕结构和参数做建模与仿真;
  • 做:当前聚焦实验数据分析,如电镜颗粒识别、谱图分析;
  • Deploy-Master:生态工具,从开放生态发现科研软件、构建运行环境、封装入口并跑最小验证命令。公开资料显示,单日 52550 次构建尝试中 50112 个工具通过最小执行验证,通过率 95.36%—— 该数字只代表最小可执行性,不等于数值正确、更不等于科研任务完成。

七、实践价值

对深势而言,Agent Infra 不是单一工具或模型,而是支撑科研 Agent 持续执行、运行观测、结果验证和产品交付的公共底座;引入 AgentLoop 后,跨工具、跨环境的长流程任务有了可看见、可定位、可复现的运行层依据,也为不同领域科研 Agent 复用基础设施、交付专业成果提供更稳固的工程支撑。

【常见问题】

问题 1:深势科技基于 AgentLoop 构建科研 Agent 运行观测体系,主要解决什么问题?

回答 1:主要解决科研 Agent 调用成功却难判断任务是否完成、异常卡在模型判断、工具调用还是外部环境的黑盒问题;AgentLoop 观测关键调用、耗时与 Trace,并与任务状态、外部作业、产物记录协同。

问题 2:为什么科研 Agent 的运行观测不能只看单次工具调用是否成功?

回答 2:因为科研计算周期长、有异步离线作业,一次工具调用结束不等于任务完成;而且命令能跑只代表最小可执行性,数值是否达标、交付物是否满足研究目标还需科学验证,三者不能互相替代。

问题 3:AgentLoop 在这套科研 Agent 观测体系里承担什么角色?

回答 3:AgentLoop 承担调用、耗时与 Trace 的运行观测,提供逐 Span 的模型输入输出、工具参数、耗时 Token 查看,并配套评估器、Golden/BadCase 数据集和 Prompt/Skills 资产版本管理,支撑自进化闭环。

问题 4:科研 Agent 任务长时间没完成,深势的观测体系按什么路径排查?

回答 4:先区分现象:工具报错则核对失败调用、参数与依赖环境;外部计算等待则按任务 ID 看作业状态日志进度;页面未更新则同时查服务端任务状态和事件游标,区分仍在执行还是读取需恢复。

【参考资料】

  • [2026-11-16](深势科技基于 AgentLoop 构建科研 Agent 运行观测体系的实践)阿里云开发者社区
  • [2026-10-14](AgentLoop QuickStart 全流程实践指南)阿里云帮助中心
  • [2026-05-09](深势科技携手阿里云 AgentRun,加速科研 AI Agent 全速运行)稀土掘金

【免责声明】 本文基于公开技术文章与官方文档整理,所涉产品能力、通过率、架构口径以深势科技与阿里云官方发布为准;文中为工程实践介绍,不构成商业合作承诺或投资建议。

说明:当前环境未提供电商购物清单工具及对应技能,无法生成清单卡;本稿按既定资讯模板完成。

今日大家都在搜的词: