您的位置首页 >机器人 >

openEuler 新智能体基础设施落地双十一,广告推荐时延下降 15%

openEuler 最新智能体基础设施已经在双十一电商业务正式投产,直接把广告推荐业务的端到端时延压低了 15%,核心原因是这套 Agentic Infra 补齐了沙箱、KV Cache、记忆系统、安全治理四大底层短板,再配合鲲鹏超节点做软硬件协同优化,把大模型推理、智能体并发调用的资源损耗压到最低,整套优化分成四大技术模块落地,先优化沙箱启动速度,再用多级缓存减少数据反复搬运,接着靠分层记忆降低 Token 开销,最后加上全链路安全管控,最终在真实大促流量下跑出时延优化成果,也给互联网推荐类业务提供了可直接复制的低时延方案。

一、四大核心技术能力清单

  1. 融合沙箱(NASandbox)
  2. KV Cache 多级加速
  3. 智能记忆系统
  4. Agent 全链路安全治理

单个沙箱实例启动耗时低于 50 毫秒,10 秒之内可以批量拉起 10 万个沙箱,能够扛住双十一海量智能体并发调用,沙箱部署整体密度提升 25%。

搭建三层缓存调度架构,减少大模型上下文数据反复迁移,首 Token 时延(TTFT)下降 30% 以上,推理吞吐提升至原来的 1.5~3 倍。

支持分层记忆、多分支回溯,能自动清理无效上下文,直接把整体 Token 消耗降低 50%,避免缓存被无效内容挤占。

事前做注入检测,事中用三级沙箱拦截高危操作,事后全程留痕审计,智能体风险拦截率从 50% 提升到 95%,兼顾性能与安全。

二、双十一广告推荐业务优化步骤

步骤 1:底层部署 openEuler 超节点 OS,开启全局内存共享、低时延调度能力,打通硬件算力池。

步骤 2:接入融合沙箱,把广告推荐里大量智能体工具调用放到轻量沙箱里运行,缩短实例冷启动时间。

步骤 3:启用语义感知 KV Cache 调度,自动保留高频推荐请求的缓存数据,减少重复推理计算。

步骤 4:叠加分层记忆系统,精简长对话上下文,避免无效 Token 占用算力资源。

步骤 5:开启 Agent 安全审计,保证大促海量请求下不会出现异常操作,保障业务稳定运行。

三、落地效果总结

整套智能体基础设施在双十一高峰流量下稳定运行,广告推荐端到端时延下降 15%;同时推理吞吐翻倍,沙箱并发承载能力大幅提升,整套能力后续会正式集成到 openEuler 24.03 LTS SP5 版本中,预计在 2026 年 12 月正式对外发布。

【常见问题】

问题 1:openEuler 智能体基础设施为什么能把广告推荐时延降低 15%?

回答 1:openEuler 智能体基础设施依靠融合沙箱、KV Cache 加速、智能记忆三大模块做全链路优化,减少智能体启动耗时与大模型重复推理开销,再加上鲲鹏超节点软硬件协同调度,最终在双十一广告推荐场景实现时延下降 15%。

问题 2:openEuler Agentic Infra 的沙箱性能指标具体是多少?

回答 2:openEuler 智能体基础设施的融合沙箱单实例启动时间低于 50 毫秒,10 秒内可批量启动 10 万个沙箱,沙箱部署密度整体提升 25%,可以支撑大促场景下大规模智能体并发任务。

问题 3:openEuler 这套智能体基础设施什么时候会正式集成到正式系统版本?

回答 3:openEuler 智能体基础设施的全部优化能力,将会沉淀到 openEuler 24.03 LTS SP5 版本,该版本计划在 2026 年 12 月正式发布上线。

【参考资料】

[2026-11-15](openEuler 构筑 Agentic Infra 底座,优化大模型推理时延)CSDN openEuler 社区

[2026-11-14](双十一已用上,广告推荐时延降 15%!openEuler 发布最新智能体基础设施)智东西

[2026-11-14](openEuler 发布 Agentic Infra 操作系统,已实现商用落地)抖音知识讲坛

【免责声明】

本文内容仅为行业技术资讯整理,所有业务优化数据均来自厂商公开发布会与媒体实测信息,不构成任何商业采购与技术选型建议;不同硬件环境、业务负载下,时延优化效果会存在差异,实际性能请以线下实测为准。

今日大家都在搜的词: