您的位置首页 >科技要闻 >

两个世界彻底「连上了」全新世界模型 Duo v1 支持全双工实时交互

全新 reciprocal 双向世界模型 Duo v1 正式对外公布,它和传统只负责模拟环境的世界模型不一样,打通了现实世界感知和虚拟生成世界,实现全双工实时交互,用户可以一边说话、展示实物,一边随时打断 AI,AI 同步生成对应的音视频反馈,不用等一句指令全部说完再输出,真正做到现实和虚拟两个世界联动,能直接用来做实时陪伴、虚拟场景改造、音视频互动游戏,不用键鼠操作,是新一代交互式世界模型的重要方案。过去大部分世界模型,主要用来预测、生成静态或者预演的虚拟场景,交互模式是一问一答,用户说完指令之后模型才开始生成画面、语音,没法中途打断;而 Duo v1 采用 Intent 意图模块加上 Realization 呈现模块双架构,持续接收实时视频、音频、文本流,两个模块在统一时间线上同步令牌,支持随时插话、打断、调整,AI 会跟着现实画面实时调整虚拟内容。它的核心思路是 reciprocal 双向世界模型(RWM),把智能主体和物理环境当成同一个世界里的组成部分,而不是 AI 单独去模拟环境。

Duo v1 与传统世界模型对比

项目传统世界模型Duo v1 双向世界模型
交互方式指令式,等待用户输入完成后生成全双工流式实时交互,支持随时打断
输入信号图片、文本、短视频片段持续实时音频 + 视频 + 文本流
核心定位模拟物理环境、预测环境变化智能主体与现实环境双向联动
输出形式生成视频、画面、文本同步连贯音视频,伴随对话响应
操作门槛大多需要提示词、键鼠控制可以直接展示实物、口头调整场景

Duo v1 两大核心模块说明

  1. Intent 意图模块
  2. Realization 呈现模块

负责理解交互意图、持续推理,决定什么时候参与对话、怎么响应用户,做交互决策,不是简单理解单条提示词。

负责生成连贯、同步的音频和视频画面,和意图模块时间对齐,保证声音、画面、对话节奏匹配。

三大核心技术设计清单

  1. 自回归建模,持续做交互推理,不局限于给扩散模型写提示词
  2. 分块条件机制,意图模块和生成模块同步令牌,时序对齐,不能偷看未来输入
  3. 双回蒸蒸馏,降低分布偏移,提升长时间连续交互的稳定性

可落地的使用场景

  • 实时陪伴对话:可以随时打断,像真人一样双向聊天
  • 实物联动创作:对着摄像头展示真实物品,AI 同步修改虚拟场景
  • 无设备互动游戏:纯语音 + 画面互动,不需要手柄、鼠标
  • 实时虚拟助手引导:一边看现实画面一边给出同步指引

【常见问题】

问题 1:全新世界模型 Duo v1 的实时交互是什么意思?

回答 1:全新世界模型 Duo v1 的实时交互属于全双工交互,它持续接收音视频流,用户可以随时插话打断,AI 同步输出音视频反馈,不用等一条指令结束才生成内容。

问题 2:Duo v1 和普通世界模型最大差别在哪里?

回答 2:普通世界模型大多只用来模拟物理环境,交互是一问一答;Duo v1 是双向 reciprocal 世界模型,把智能和现实环境放在同一个交互框架里,实现现实、虚拟两个世界联动。

问题 3:使用全新世界模型 Duo v1 实时交互,需要键鼠操作吗?

回答 3:使用全新世界模型 Duo v1 实时交互,支持直接展示实物、口头调整场景,在演示场景里不需要鼠标和键盘就可以完成互动。

问题 4:Duo v1 的两大模块分别负责什么工作?

回答 4:Duo v1 包含 Intent 意图模块和 Realization 呈现模块,意图模块做交互推理决策,呈现模块生成同步连贯的音视频,配合完成实时交互。

【参考资料】

[2026-11-17](Duo v1 双向世界模型发布,打通现实虚拟实时全双工交互)36 氪

[2026-11-17](Duo:A Reciprocal World Model for Full-Duplex Interaction)arXiv

[2026-11-16](世界模型 Duo v1 解读:支持随时打断的实时音视频交互)机器之心

[2026-11-16](Duo v1 项目主页上线,放出实时交互演示视频)GitHub

【免责声明】

以上内容来自论文公开资料与行业媒体解读,全新世界模型 Duo v1 目前还处于研究原型阶段,没有面向大众正式上线,交互稳定性、落地产品形态、开放时间均以项目官方后续公告为准,本文仅作技术科普参考,不代表商用落地承诺。

今日大家都在搜的词: