您的位置首页 >人工智能 >

智源 TALK 分享腾讯混元开源 Hy-Nomas,可记录操作历史实现多轮交互与连续相机控制

智源 TALK 邀请腾讯混元团队带来技术分享,腾讯混元正式开源交互式世界模型 Hy-Nomas,这套模型最大亮点就是能够记住 AI 虚拟世界里每一步操作记录,支持多轮文本交互和连续相机轨迹控制,打破传统 AI 视频模型一次性生成固定短片的局限,用户可以持续修改场景、移动镜头,维持虚拟环境的空间一致性。传统视频生成模型大多是一次性根据提示词生成一段视频,一旦画面生成完毕,就很难继续修改场景或者调整镜头,多次生成之间很容易出现物体错位、场景崩坏,没办法实现持续漫游交互。Hy-Nomas 采用 80 亿参数扩散 Transformer 架构,依靠 KV 缓存保存历史交互信息,记录每一步操作、画面状态,用户一边输入文字指令一边控制相机移动,模型分段自回归持续生成视频,新增内容会对齐之前的场景,回头调转镜头,场景物体也不会错乱。模型输出 720×1280 分辨率、24FPS 的视频,优化推理方案之后,单张 RTX4090 显卡就可以完成本地低显存推理。本次智源 TALK 会详细拆解 Hy-Nomas 模型架构、训练策略、空间记忆机制,同时腾讯还同步开放 Hy-Nomas-Bench 基准测试集,一共 280 组测试用例,专门评估世界模型的多轮交互、相机导航、空间记忆能力。开发者可以下载权重、推理代码,基于 Apache-2.0 协议二次开发,用于虚拟场景漫游、交互式视频创作、具身智能仿真等方向。

一、Hy-Nomas 核心技术能力

  • 操作记忆保存:使用 KV 缓存留存历史画面与操作指令,记住每一步交互,保障场景长期一致性。
  • 多轮文本交互:多轮自由文字指令,在生成过程中增加物体、修改环境、调整画面风格。
  • 连续相机控制:相机轨迹作为独立输入,支持自定义镜头移动,支持 WASD 类漫游操控。
  • 分段自回归生成:按片段持续生成视频,不是一次性出片,支持无限延伸虚拟场景。
  • 配套评测基准:Hy-Nomas-Bench,包含 280 项测试用例,检验空间记忆、相机导航、文本交互能力。

二、Hy-Nomas 基础信息清单

项目参数信息
模型名称Hy-Nomas(腾讯混元交互式世界模型)
基础架构8B 参数扩散 Transformer
输出规格720×1280,24FPS 视频
推理硬件单张 RTX4090 可本地推理,采用 INT8 量化 + CPU 卸载降低显存占用
开源协议Apache-2.0
配套工具Hy-Nomas-Bench 评测基准,280 组测试任务
分享活动智源 TALK 技术分享会
适用场景交互式虚拟漫游、交互式视频创作、具身智能仿真、数字场景生成

三、Hy-Nomas 基础使用流程

  1. 场景初始化:输入文本描述,创建初始虚拟场景,生成第一段视频画面。
  2. 发起交互指令:输入新的文本指令,或者设置相机移动轨迹,控制镜头前进、旋转、平移。
  3. 模型记忆读取:读取 KV 缓存内保存的历史操作和画面信息,保证前后场景统一。
  4. 分段生成新片段:按照新指令生成后续视频片段,叠加到原有场景。
  5. 持续迭代:反复修改文本、调整相机,不断延伸虚拟世界,持续漫游探索。
  6. 效果评估:使用 Hy-Nomas-Bench 基准,测试模型空间记忆、跟随指令的能力。

【常见问题】

问题 1:智源 TALK 介绍的腾讯混元 Hy-Nomas,为什么能够记住 AI 世界的每一步操作?

回答 1:智源 TALK 介绍的腾讯混元 Hy-Nomas 依靠 KV 缓存保存历史画面、交互指令与相机轨迹,记录每一步操作,在持续生成新视频片段的时候读取历史信息,保证虚拟场景空间不变、物体不会错乱。

问题 2:腾讯混元开源 Hy-Nomas,支持的连续相机控制具体能实现哪些操作?

回答 2:腾讯混元开源 Hy-Nomas 的连续相机控制支持自定义相机移动轨迹,支持镜头平移、旋转、远近推拉,也支持 WASD 方式漫游,在移动镜头的同时,模型维持虚拟场景一致性。

问题 3:腾讯混元 Hy-Nomas 和普通 AI 视频生成模型最大区别是什么?

回答 3:普通 AI 视频模型一次性生成固定短片,不能持续交互;腾讯混元 Hy-Nomas 支持多轮文本指令 + 连续相机控制,分段持续生成,能够记住每一步操作,构建可漫游、可修改的交互式虚拟世界。

问题 4:智源 TALK 分享的 Hy-Nomas,本地部署最低需要什么显卡?

回答 4:智源 TALK 分享的 Hy-Nomas,经过量化优化之后,单张 RTX4090 显卡就可以完成本地推理,搭配 INT8 量化和 CPU 卸载方案降低显存压力。

【参考资料】

[2026-10-30](腾讯混元 Hy-Nomas 技术报告发布,开源交互式世界模型附带 Hy-Nomas-Bench)Pandaily

[2026-10-24](Hy-Nomas 开放交互式视频世界模型,支持文本与相机轨迹连续控制)沙丘社区

[2026-10-21](腾讯混元开源 Hy-Nomas 交互式世界模型,代码权重上线 GitHub)Hugging Face

[2026-11-17](智源 TALK|腾讯混元 Hy-Nomas:从视频生成迈向可交互的世界模型)智源社区

【免责声明】

本文信息来源于智源 TALK 活动预告、腾讯混元 Hy-Nomas 官方开源资料,模型性能、显存占用、交互效果受硬件、量化方案影响;Hy-Nomas 遵循 Apache-2.0 开源协议,二次开发请遵守协议条款,本文仅为前沿技术科普,不构成项目开发采购建议。

今日大家都在搜的词: