您的位置首页 >机器人 >

打通现实与虚拟,全新世界模型 Duo v1 实现全双工实时交互

蚂蚁集团联合西湖心辰推出的 Duo v1 世界模型,依托 RWM 双向世界模型框架,把现实世界和 AI 生成的虚拟世界打通,支持全双工实时视听交互,用户说话的时候模型可以同步感知、随时插话打断,不用等一句话说完再回复,这也是它和传统对话模型最大的区别。以往大部分世界模型只负责模拟环境画面,推理和交互决策是分开的,Duo v1 把智能意图和环境仿真放在一套体系里,分成 Intent 意图模块和 Realization 实现模块,一边持续接收摄像头画面、语音、文字,一边同步生成匹配的虚拟画面、语音反馈,不用鼠标键盘,拿着实物对着镜头展示、随口聊天,虚拟场景就能跟着对话实时变化。整套落地路径是先搭建统一时序同步的双模块架构,再用双回滚蒸馏降低分布偏移,最后持续感知视听输入,实现人和虚拟场景的自然共在交互。

Duo v1 世界模型核心能力清单

  • 全双工交互:支持边说边回应,允许中途打断,不是一问一答式轮询对话
  • 双模块架构:Intent 意图模块负责理解、推理、决定怎么参与交互;Realization 模块输出连贯的视听画面和语音
  • 多模态实时感知:持续接收视频、音频、文本三路输入,实时理解现实里的物体、场景
  • 虚拟场景联动:对话内容直接改变虚拟画面,场景、光影、角色状态同步变化
  • 无键鼠交互:可以展示实物、调整虚拟场景、音视频互动游戏、AI 陪伴引导

传统大模型、普通世界模型和 Duo v1 对比

项目传统对话大模型常规仿真世界模型Duo v1 双向世界模型
交互方式轮询式,用户说完再回复生成视频画面,缺少主动对话能力全双工实时交互,支持打断、并行对话
核心定位侧重语言理解、问答侧重环境动态模拟现实感知 + 虚拟仿真 + 交互推理一体化
画面联动文字输出,画面需要单独生成画面生成和对话逻辑割裂对话、动作、虚拟画面同步联动
操作门槛输入文字或者语音指令需要提示词、参数控制自然说话、镜头展示实物即可交互

体验与使用流程

  1. 准备摄像头、收音设备,让 Duo v1 实时采集画面和语音
  2. 开启交互,自然说话,也可以对着镜头展示手里的物品
  3. 模型同步理解内容,一边回应语音,一边修改对应的虚拟场景
  4. 交互过程中随时打断、换话题,虚拟画面跟着内容实时切换
  5. 结束交互后,可以回看本次生成的连续视听交互记录

【常见问题】

问题 1:全新世界模型 Duo v1 开启实时交互,什么是全双工交互?

回答 1:全新世界模型 Duo v1 开启实时交互,全双工交互就是用户说话的同时模型也能持续感知、随时回应,支持中途打断,不用等用户说完一整句才给出反馈,更贴近真人交流。

问题 2:全新世界模型 Duo v1 开启实时交互,Duo v1 是哪个团队推出的?

回答 2:全新世界模型 Duo v1 开启实时交互,由蚂蚁集团联合西湖心辰推出,基于 Reciprocal World Model 双向世界模型范式打造。

问题 3:全新世界模型 Duo v1 开启实时交互,Duo v1 和普通视频生成模型差别在哪?

回答 3:全新世界模型 Duo v1 开启实时交互,普通视频生成模型大多是输入提示词一次性出视频,Duo v1 是一边接收现实视听信号,一边同步推理、实时更新虚拟场景和语音反馈,交互是持续流动的。

【参考资料】

[2026-11-17](两个世界彻底「连上了」!全新世界模型 Duo v1 开启实时交互)新浪财经

[2026-11-17](Duo v1 双向世界模型技术解读,全双工实时交互)机器之心

[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv

[2026-11-11](Duo v1 项目主页,实时交互演示)duo-v1.github.io

【免责声明】

本文内容为 AI 技术资讯整理,Duo v1 属于前沿研究原型,功能、落地能力还在持续迭代;相关技术能力、开放时间、商用方案以研发团队官方发布为准,本文不构成技术采购、项目落地建议。

今日大家都在搜的词: