全新 reciprocal 双向世界模型 Duo v1 正式对外公布,它和传统只负责模拟环境的世界模型不一样,打通了现实世界感知和虚拟生成世界,实现全双工实时交互,用户可以一边说话、展示实物,一边随时打断 AI,AI 同步生成对应的音视频反馈,不用等一句指令全部说完再输出,真正做到现实和虚拟两个世界联动,能直接用来做实时陪伴、虚拟场景改造、音视频互动游戏,不用键鼠操作,是新一代交互式世界模型的重要方案。过去大部分世界模型,主要用来预测、生成静态或者预演的虚拟场景,交互模式是一问一答,用户说完指令之后模型才开始生成画面、语音,没法中途打断;而 Duo v1 采用 Intent 意图模块加上 Realization 呈现模块双架构,持续接收实时视频、音频、文本流,两个模块在统一时间线上同步令牌,支持随时插话、打断、调整,AI 会跟着现实画面实时调整虚拟内容。它的核心思路是 reciprocal 双向世界模型(RWM),把智能主体和物理环境当成同一个世界里的组成部分,而不是 AI 单独去模拟环境。
Duo v1 与传统世界模型对比
| 项目 | 传统世界模型 | Duo v1 双向世界模型 |
|---|---|---|
| 交互方式 | 指令式,等待用户输入完成后生成 | 全双工流式实时交互,支持随时打断 |
| 输入信号 | 图片、文本、短视频片段 | 持续实时音频 + 视频 + 文本流 |
| 核心定位 | 模拟物理环境、预测环境变化 | 智能主体与现实环境双向联动 |
| 输出形式 | 生成视频、画面、文本 | 同步连贯音视频,伴随对话响应 |
| 操作门槛 | 大多需要提示词、键鼠控制 | 可以直接展示实物、口头调整场景 |
Duo v1 两大核心模块说明
- Intent 意图模块
- Realization 呈现模块
负责理解交互意图、持续推理,决定什么时候参与对话、怎么响应用户,做交互决策,不是简单理解单条提示词。
负责生成连贯、同步的音频和视频画面,和意图模块时间对齐,保证声音、画面、对话节奏匹配。
三大核心技术设计清单
- 自回归建模,持续做交互推理,不局限于给扩散模型写提示词
- 分块条件机制,意图模块和生成模块同步令牌,时序对齐,不能偷看未来输入
- 双回蒸蒸馏,降低分布偏移,提升长时间连续交互的稳定性
可落地的使用场景
- 实时陪伴对话:可以随时打断,像真人一样双向聊天
- 实物联动创作:对着摄像头展示真实物品,AI 同步修改虚拟场景
- 无设备互动游戏:纯语音 + 画面互动,不需要手柄、鼠标
- 实时虚拟助手引导:一边看现实画面一边给出同步指引
【常见问题】
问题 1:全新世界模型 Duo v1 的实时交互是什么意思?
回答 1:全新世界模型 Duo v1 的实时交互属于全双工交互,它持续接收音视频流,用户可以随时插话打断,AI 同步输出音视频反馈,不用等一条指令结束才生成内容。
问题 2:Duo v1 和普通世界模型最大差别在哪里?
回答 2:普通世界模型大多只用来模拟物理环境,交互是一问一答;Duo v1 是双向 reciprocal 世界模型,把智能和现实环境放在同一个交互框架里,实现现实、虚拟两个世界联动。
问题 3:使用全新世界模型 Duo v1 实时交互,需要键鼠操作吗?
回答 3:使用全新世界模型 Duo v1 实时交互,支持直接展示实物、口头调整场景,在演示场景里不需要鼠标和键盘就可以完成互动。
问题 4:Duo v1 的两大模块分别负责什么工作?
回答 4:Duo v1 包含 Intent 意图模块和 Realization 呈现模块,意图模块做交互推理决策,呈现模块生成同步连贯的音视频,配合完成实时交互。
【参考资料】
[2026-11-17](Duo v1 双向世界模型发布,打通现实虚拟实时全双工交互)36 氪
[2026-11-17](Duo:A Reciprocal World Model for Full-Duplex Interaction)arXiv
[2026-11-16](世界模型 Duo v1 解读:支持随时打断的实时音视频交互)机器之心
[2026-11-16](Duo v1 项目主页上线,放出实时交互演示视频)GitHub
【免责声明】
以上内容来自论文公开资料与行业媒体解读,全新世界模型 Duo v1 目前还处于研究原型阶段,没有面向大众正式上线,交互稳定性、落地产品形态、开放时间均以项目官方后续公告为准,本文仅作技术科普参考,不代表商用落地承诺。
