2026 年 11 月 17 日,蚂蚁技术研究院联合西湖心辰正式开源 Duo v1,也就是首个双向世界模型(RWM,Reciprocal World Model),核心特点是可以边看用户动作画面边实时对话,支持全双工双向交互,用户说话时模型可以主动插话、也可以选择等待,不需要等用户说完再回应。这次开源的原因,是传统世界模型只负责预测场景变化,交互主动权完全在用户手里,虚拟角色缺少自主感知、判断何时回应的能力;Duo v1 把意图决策和音视频生成整合进同一架构,让虚拟主体持续观察现实画面,边看边聊。模型代码、权重已经上线 GitHub、Hugging Face、ModelScope,论文同步公开。整套系统以约 0.7 秒为一个交互块,联合生成语音、表情和画面动作,实现低延迟实时互动。
一、Duo v1 核心定位与开源资源
| 项目 | 信息 |
|---|---|
| 项目名称 | Duo v1(Reciprocal World Model,双向世界模型) |
| 发布方 | 蚂蚁技术研究院 × 西湖心辰 |
| 核心能力 | 全双工实时双向交互,边看边聊,主动插话 / 等待 |
| 开源内容 | 模型权重、代码、论文、演示页面 |
| GitHub | github.com/inclusionAI/Duo |
| 论文 | arXiv: 2611.15131 |
二、双模块架构拆解
- Intent(意图模块)
- Realization(实现模块)
持续接收用户语音、视频画面与历史交互,实时推理用户意图,自主判断什么时候开口、说什么;当前不需要回应就保持等待,不会强行输出。模块同时输出隐藏状态,把语义条件传给生成模块。
采用因果音视频扩散 Transformer,把意图转化为连贯的语音、人物表情、画面动作;结合历史生成内容,保证角色形象、口型、情绪持续稳定。
三、实时交互技术要点
- 交互以约 708ms 为一个 Chunk(24FPS,单块 17 帧);
- 端到端处理总耗时约 330~650ms,满足流式实时输出;
- 使用因果增量解码,不用提前读取未来画面,保证时序严谨;
- 联合 KV 缓存管理,Intent 滑动窗口淘汰历史,Realization 周期重置媒体历史;
- 评测通过率 93.3%,语音清晰度、人物身份稳定性两项达到 100%。
四、可落地应用场景
- 游戏 NPC:虚拟角色不依赖预设台词,根据玩家动作、语音实时回应,支持无键鼠音视频互动;
- AI 助手:展示现实物品、参考图,模型结合视觉一起讨论方案、调整设计;
- 虚拟内容创作:自然语言对话修改场景,白天切换夜景、修改人物服饰图案;
- 实时数字人:支持主动打断、静默等待,实现真正的双向对话。
【常见问题】
问题 1:蚂蚁开源的 Duo v1 为什么叫边看边聊?
回答 1:蚂蚁开源的 Duo v1 会持续观察用户的语音、视频画面,边接收视觉信息边实时对话,支持主动插话或者保持沉默,也就是边看边聊的全双工实时双向交互。
问题 2:Duo v1 双向世界模型和普通数字人方案有什么区别?
回答 1:普通数字人是 ASR+LLM+TTS 组件拼接,Duo v1 把意图决策、语音、表情、画面生成整合在同一架构,模型可以自主判断何时回应,不只是被动应答。
问题 3:Duo v1 的开源资源在哪里可以获取?
回答 1:蚂蚁开源 Duo v1 的代码、模型权重已上线 GitHub、Hugging Face 与 ModelScope,配套论文在 arXiv 公开,开发者可以直接下载部署体验。
问题 4:Duo v1 能不能在用户说话的时候主动插话?
回答 1:可以,Duo v1 原生支持全双工交互,在用户表达过程中,模型可以判断时机主动插话回应,也可以选择保持等待,不需要轮流说完再对话。
【参考资料】
[2026-11-17](两个世界彻底「连上了」!全新世界模型 Duo v1 开启实时交互)新浪财经
[2026-11-17](蚂蚁技术研究院与西湖心辰共同发布世界模型 Duo)第一财经
[2026-11-17](蚂蚁技术研究院与西湖心辰共同发布世界模型 Duo)新浪财经
【免责声明】
本文内容来自公开媒体报道与项目官方信息,仅作技术资讯参考;模型能力、部署要求以官方仓库与论文为准,本文不构成任何技术选型建议。
该内容属于 AI 技术资讯,无对应电商商品,因此不生成购物清单卡。
