米哈游崩坏 AI 研发团队正式对外公布 Gamer 通用视觉语言动作基础模型,这是面向长时序实时游戏智能体的基础模型,模型不需要读取游戏内存、调用游戏内部 API,只靠识别屏幕画面,直接输出键鼠操作指令,就可以自主游玩《崩坏:星穹铁道》以及其他 2D、3D 游戏,演示视频里已经完成主线推进、地图探索、解谜、战斗等任务,该模型属于学术研究项目,官方明确禁止把它用作外挂、脚本作弊,主要方向是游戏自动化测试、无障碍辅助、人机交互研究。很多游戏 AI 智能体大多是单独为某一款游戏定制开发,依赖游戏内部接口,换游戏就很难使用,而 Gamer 走通用路线,模仿人类玩家一样看画面、键鼠操作,适配不同游戏环境,团队还配套自研 Streaming-vLLM 推理引擎,解决长任务内存不足、推理延迟高的痛点。下面整理 Gamer 模型基础信息、训练流程、核心能力、部署使用步骤以及官方的使用规范。
一、Gamer 模型基础信息表
| 项目 | 规格详情 |
|---|---|
| 模型全称 | Gamer 通用视觉语言动作基础模型 |
| 底座模型 | Qwen3-VL-8B |
| 输入方式 | 屏幕画面采集(5Hz) |
| 输出方式 | 键鼠动作指令(30Hz) |
| 训练数据 | 上万小时跨游戏键鼠操作轨迹 |
| 配套引擎 | Streaming-vLLM |
| 硬件测试环境 | NVIDIA H200 |
| 推理延迟优化 | 从 1306ms 降至 65.12ms |
| 适用场景 | 2D 游戏、3D 开放世界游戏交互 |
| 研究定位 | 学术研究项目,非面向玩家的成品工具 |
二、Gamer 模型三阶段训练流程
- 持续预训练:基于海量键鼠操作轨迹数据学习屏幕画面和操作之间的关联,掌握通用交互逻辑。
- 稀疏思维指令微调:减少多余计算,保留复杂任务推理能力,提升任务理解和规划能力。
- 多轮时序强化学习:专门解决长任务上下文窗口有限、误差累积、稀疏奖励难题,提升长时间任务稳定性。
三、Gamer 核心功能亮点
- 无侵入式操作:不读游戏内存、不依赖游戏专属接口,和真人玩家一样,通过画面识别生成键鼠动作。
- 跨游戏通用:一套模型可以适配 2D 界面游戏和 3D 开放世界游戏,具备跨环境泛化能力。
- 长时序任务能力:支持持续推进主线、连续探索、多步骤解谜这类需要长期规划的复杂任务。
- 低延迟推理引擎:Streaming-vLLM 引擎保障实时交互,多环境并发推理,适合游戏连续交互场景。
- 多高校联合研发:米哈游团队联合清华、国科大、中科大、西安交大、新加坡国立大学共同完成研究。
四、Gamer 模型落地使用参考步骤
第一步,搭建硬件环境,部署 Streaming-vLLM 推理引擎,加载 Gamer 模型权重。
第二步,配置画面采集模块,按 5Hz 采集游戏画面,作为模型输入。
第三步,输入自然语言任务指令,例如 “完成星穹铁道这个支线解谜”。
第四步,模型识别画面,进行感知、记忆、推理,输出键鼠操作指令。
第五步,执行动作,持续采集新画面循环推理,直到任务完成或者终止指令。
第六步,记录任务成功率、推理延迟、失败场景,用于后续模型迭代优化。
五、官方明确使用红线
Gamer 只是学术研究项目,严禁用于游戏外挂、自动刷任务脚本、破坏游戏公平性,也不允许未经授权滥用、挖掘漏洞,合规方向是游戏自动化测试、无障碍辅助、通用具身智能研究。
【常见问题】
问题 1:米哈游公布的 Gamer 通用视觉语言动作基础模型,是怎么玩《崩坏:星穹铁道》的?
回答 1:米哈游公布的 Gamer 通用视觉语言动作基础模型,不会读取游戏内存,只采集屏幕画面,识别画面信息之后输出键鼠指令,模仿真人操作,自主游玩《崩坏:星穹铁道》,可以完成探索、战斗、解谜等任务。
问题 2:米哈游 Gamer 通用视觉语言动作基础模型,普通玩家可以拿来自动刷游戏任务吗?
回答 2:米哈游 Gamer 通用视觉语言动作基础模型属于学术研究项目,官方明确禁止将它用作游戏外挂、自动刷任务脚本,不面向普通玩家开放这类使用方式。
问题 3:米哈游 Gamer 通用视觉语言动作基础模型,相比普通游戏 AI 有什么不一样?
回答 3:米哈游 Gamer 通用视觉语言动作基础模型是通用型 VLA 基础模型,不需要针对单款游戏定制、不依赖游戏内部 API,支持跨 2D、3D 游戏环境,主打长时序实时交互,和单游戏定制 AI 智能体有明显区别。
【参考资料】
[2026-11-17](米哈游公布通用视觉语言动作基础模型 Gamer,可自主游玩《崩坏:星穹铁道》等游戏)IT 之家
[2026-11-17](米哈游 Gamer 游戏智能模型发布,可像人一样看画面玩游戏)腾讯新闻
[2026-11-16](miHoYo Trains an 8B Model to Play Star Rail in Real Time)AILog
[2026-11-13](Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent)arXiv
[2026-11-17](米哈游 Gamer 模型论文解读,配套 Streaming-vLLM 低延迟推理引擎)HyperAI
【免责声明】
本文内容为米哈游 Gamer 通用视觉语言动作基础模型资讯科普,相关性能、测试数据来自公开论文与官方演示;Gamer 属于学术研究项目,暂无面向公众的商用版本,禁止用于游戏作弊,模型后续开源、迭代计划以米哈游 AI 团队官方公告为准。
