蚂蚁集团联合西湖心辰推出双向世界模型 RWM 的首个落地版本 Duo v1,它和过去只负责模拟画面的传统世界模型不一样,把现实感知、智能推理、虚拟场景生成融合在一起,实现现实世界和虚拟世界双向连通的全双工实时交互,用户说话的时候 AI 可以随时插话、主动回应,同时虚拟场景跟着现实里的画面、语音动态变化,不用等一句话说完才生成内容。传统世界模型大多是单向生成,要等用户输入完毕之后,再输出视频或者画面,交互是一问一答的回合制,没法做到自然打断、同步响应;Duo v1 采用 Intent 意图模块加上 Realization 实现模块的双核心架构,Intent 模块持续看懂画面、听懂语音、理解当前交互状态,决定 AI 该怎么参与对话,Realization 模块同步输出连贯的音频、虚拟画面,两个模块在统一时间线上同步跑,解决了旧模型延迟高、交互生硬的短板。整套模型的落地流程分为持续感知、意图推理、视听生成、双向反馈四个环节,摄像头持续采集现实画面、麦克风收录语音,实时送入模型,Intent 模块判断交互策略,Realization 模块同步更新虚拟场景、语音反馈,用户可以随时打断 AI,展示现实里的物品,直接修改虚拟环境。这套技术打开了很多新玩法,虚实互动、沉浸式数字陪伴、交互式虚拟场景、无键鼠音游都能实现,也代表世界模型从 “预先生成视频” 走向 “持续可交互的活的虚拟世界”。
一、Duo v1 核心信息清单
- 研发主体:蚂蚁集团、西湖心辰
- 底层范式:RWM 双向世界模型(Reciprocal World Model)
- 核心特性:原生全双工实时交互,支持随时打断、边说边响应
- 两大核心模块:Intent 意图模块、Realization 视听生成模块
- 输入信号:实时视频、音频、文本多模态持续输入
- 输出信号:同步更新虚拟画面、语音、场景状态
- 交互方式:不需要鼠标键盘,语音 + 实景画面直接操控虚拟世界
- 公开渠道:arXiv 论文、Hugging Face、魔搭社区同步放出相关资料
二、Duo v1 双模块分工说明
- Intent 意图模块
- Realization 实现模块
持续解析视听输入,理解对话上下文、用户动作、场景变化,自主判断要不要开口、怎么回应、要不要修改虚拟场景,承担交互决策和推理工作。
接收 Intent 的指令,同步生成连贯、时序一致的虚拟画面和语音,保证场景光影、物体逻辑不会崩坏,和用户的实时动作对齐。
三、Duo v1 对比传统世界模型对照表
| 对比项目 | 传统世界模型 | Duo v1 双向世界模型 |
|---|---|---|
| 交互模式 | 回合制,用户说完再生成 | 全双工实时交互,可以随时打断、插话 |
| 核心定位 | 侧重模拟、生成虚拟画面 | 现实感知 + 智能推理 + 虚拟仿真一体化 |
| 响应延迟 | 高,需要等待完整输入 | 低延迟,边输入边反馈 |
| 虚实关系 | 虚拟画面独立,和现实弱关联 | 现实画面直接影响虚拟场景,双向连通 |
| 使用门槛 | 大多需要文字指令、键鼠操作 | 支持实景展示、语音自然交互 |
四、典型应用场景清单
✅ 沉浸式虚实交互:对着镜头展示现实物品,虚拟世界同步出现对应物体、修改场景
✅ 数字陪伴:虚拟角色像真人一样对话,可以主动搭话、被用户打断,场景随对话变化
✅ 交互式内容创作:边聊天边修改虚拟环境,比如切换天气、场景、时间
✅ 音视频互动游戏:纯语音 + 实景手势控制,脱离键鼠操作
✅ 虚拟教学演示:实物对着镜头展示,虚拟仿真同步配合讲解
五、技术实现关键设计
- 自回归建模,持续做交互推理,不是扩散模型的一次性指令生成
- 分块条件约束,Intent 和 Realization 令牌时序同步,用因果掩码杜绝偷看未来输入
- 双轨蒸馏方案,降低推理和生成之间的分布偏移,保证画面、对话连贯稳定
【常见问题】
问题 1:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Duo v1 是谁研发的?
回答 1:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Duo v1 由蚂蚁集团联合西湖心辰共同研发,是 RWM 双向世界模型的首个版本。
问题 2:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Duo v1 的全双工交互是什么意思?
回答 2:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,全双工交互代表用户说话的时候 AI 就可以实时回应、主动插话,不用等用户说完整句,支持随时打断,更贴近真人对话。
问题 3:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Duo v1 两个核心模块分别负责什么?
回答 3:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Intent 意图模块负责理解画面语音、推理交互策略;Realization 实现模块负责生成连贯的虚拟画面和语音反馈。
问题 4:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,Duo v1 和过去的世界模型最大差别在哪?
回答 4:全新双向世界模型 Duo v1 发布,打通现实与虚拟实现原生全双工实时交互,传统世界模型偏向单向生成视频,交互是回合制;Duo v1 把现实感知、推理、虚拟仿真结合,现实和虚拟双向联动,做到实时打断交互。
【参考资料】
[2026-11-17](两个世界彻底「连上了」!全新世界模型 Duo v1 开启实时交互)新浪财经
[2026-11-17](Duo v1:蚂蚁 × 西湖心辰发布双向世界模型,支持全双工虚实交互)机器之心
[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv
[2026-11-16](Duo v1 登 Hugging Face,双向世界模型范式解读)魔搭社区
[2026-11-16](全双工交互世界模型来了,虚实交互迎来新范式)36 氪
【免责声明】
本文内容仅为 AI 技术资讯解读,不构成产品采购、技术落地投资建议;Duo v1 目前属于科研实验版本,量产落地、性能指标、开放权限仍在迭代,正式商用能力、上线时间以研发团队官方公告为准。
