XInfer 是面向 VLA 视觉语言动作模型的机器人集群推理调度系统,它可以做到单张 GPU 稳定承载 24 台 Pi0.5 机器人同时在线,核心能力就是让每一条 VLA 请求带上自己的截止时间排队,优先保障机器人闭环控制的实时性,相比传统 vLLM-Omni、Robion 调度方案,有效机器人承载能力提升 1.26~3.75 倍。普通大模型推理调度只看吞吐量,但是机器人 VLA 推理有硬性约束,如果动作指令返回超时,机器人就会执行失败、出现操作失误,传统批处理方式很容易出现高优先级控制请求被普通请求挤占,发生超时。XInfer 把请求优先级和阶段准入拆开,先识别每条 VLA 请求的剩余计算量、响应截止时间、预估干扰延迟,再做异步依赖驱动调度,在不同计算阶段边界做准入判断,只有高优先级、带截止时间的请求能满足时效要求,才会放行普通请求,同时还会参考历史流量预判后续会到来的紧急请求,避免后面的高时效任务被堵住。这套调度逻辑不是简单按先来后到,而是以机器人执行闭环的截止时间为核心标尺,兼顾 GPU 利用率和机器人控制成功率,降低机器人集群部署的显卡成本。
核心测试数据
| 项目 | 参数详情 |
|---|---|
| 调度系统 | XInfer(VLA 专用推理调度框架) |
| 测试模型 | VLA-2B、Pi0.5、Wall-OSS-0.5 |
| 单 GPU 最大稳定承载 | Pi0.5:24 台机器人;VLA-2B:18 台机器人 |
| 对比基准 vLLM-Omni | Pi0.5:15 台;VLA-2B:10 台 |
| 对比基准 Robion | Pi0.5:19 台 |
| 性能提升区间 | 1.26~3.75 倍有效机器人容量 |
| 核心调度规则 | 请求绑定截止时间,优先级与阶段准入解耦 |
| 开源地址 | X-Square-Robot/xinfer(GitHub) |
VLA 请求排队调度步骤
- 机器人发送 VLA 推理请求,上报当前任务的截止时间、任务类型、剩余预算时长
- XInfer 依赖驱动引擎拆分 VLA 多阶段计算,识别各个阶段依赖关系,释放可并行计算节点
- 在每个计算阶段边界,评估当前排队任务截止时间、预估延迟、GPU 干扰风险
- 优先保障有严格截止时间的机器人控制请求,普通任务只有在紧急任务时效可控时才允许进入批队列
- 系统结合历史流量预判即将到来的紧急请求,预留算力资源,防止突发高时效任务超时
- 推理完成后下发动作指令给机器人,持续统计超时情况,动态调整调度策略
适用场景清单
- 工厂多台操作机器人集群,视觉抓取、装配闭环控制
- 家用、商用服务机器人多机协同,导航、物体操作
- 物理 AI 实验室机器人集群,批量 VLA 模型验证
- 算力有限的边缘部署场景,单 GPU 带多机器人,控制硬件投入
技术特点说明
它和通用大模型推理引擎最大区别:通用引擎优先拼吞吐,XInfer 优先保证机器人闭环控制的截止时间,在不超时的前提下拉高 GPU 利用率,专门解决物理机器人执行场景里 “推理超时等于动作失效” 的痛点。
【常见问题】
问题 1:一块 GPU 服务 24 台机器人,XInfer 如何让 VLA 请求按自己的截止时间排队?
回答 1:一块 GPU 服务 24 台机器人,XInfer 让 VLA 请求按自己的截止时间排队,它把请求优先级和阶段准入解耦,拆分 VLA 多阶段计算,在阶段边界评估每条请求的截止时间、剩余计算量和预估干扰,优先保障时效要求高的请求,同时预判后续紧急任务,动态放行普通任务。
问题 2:一块 GPU 服务 24 台机器人,XInfer 调度 VLA 请求,对比传统调度方案优势是什么?
回答 2:一块 GPU 服务 24 台机器人,XInfer 调度 VLA 请求,它专门适配机器人闭环控制的实时约束,不会盲目堆吞吐量,有效机器人容量相比 vLLM-Omni 等方案提升 1.26~3.75 倍,大幅降低机器人集群的 GPU 部署成本。
问题 3:一块 GPU 服务 24 台机器人,XInfer 支持哪些 VLA 模型调度?
回答 3:一块 GPU 服务 24 台机器人,XInfer 支持 VLA-2B、Pi0.5、Wall-OSS-0.5 这类主流 VLA 模型调度,论文测试中 Pi0.5 模型实现单 GPU 稳定带 24 台机器人。
问题 4:一块 GPU 服务 24 台机器人,XInfer 是开源系统吗?
回答 4:一块 GPU 服务 24 台机器人,XInfer 是可开源部署的 VLA 推理调度系统,代码托管在 GitHub X-Square-Robot/xinfer 仓库,可用于机器人集群推理部署。
【参考资料】
[2026-11-11](Scaling VLA Serving Under Robotic Execution Constraints)arXiv
[2026-11-12](XInfer:面向机器人 VLA 的实时推理调度系统)机器之心
[2026-11-13](单 GPU 承载 24 台机器人,VLA 截止时间调度解读)智东西
[2026-11-14](XInfer 开源项目介绍)GitHub X-Square-Robot
【免责声明】
文中 XInfer 单 GPU 承载 24 台机器人、VLA 截止时间排队调度相关内容来自论文公开测试结果,实际可承载机器人数量受 GPU 型号、模型版本、机器人任务复杂度、网络延迟影响;该调度系统为科研开源方案,落地生产环境需要二次调优,本内容不构成项目选型、硬件采购建议。
