苹果联合康奈尔大学放出开放权重的 FastFrames 实时视频生成模型,其中 13 亿参数版本 FastFrames-S 在单张英伟达 B200 显卡上,每帧生成耗时 36 毫秒,换算下来每秒约 28 帧,速度已经接近正常视频播放水准,而且在 VBench 评测里,画质和原来慢 8 倍的基线模型保持持平,这套模型是自回归两步扩散架构,分为大小两个版本,权重和代码都对外放出,但是有明确的非商用研究限制,它的提速核心不是简单压缩模型,而是换掉了原来拖慢速度的 VAE 解码、KV 缓存更新模块,用轻量化结构替代,把推理延迟压到 50 毫秒以内,刚好踩中人类感知无卡顿交互的门槛,适合交互式生成、相机跟随、物理仿真这类需要实时响应的视频场景,也能给其他第三方视频模型移植这套加速方案,给整个实时视频生成赛道带来新的优化思路。
一、FastFrames 版本和基准参数
| 版本 | 参数量 | 测试硬件 | 单帧延迟 | 生成速度 | 输出规格 |
|---|---|---|---|---|---|
| FastFrames-S | 1.3B | 单张 B200 | 36ms | 28 帧 / 秒 | 832×480、81 帧短片、16fps 成片 |
| FastFrames-L | 14B | 8 张 B200 集群 | 45ms | 22 帧 / 秒 | 832×480、81 帧短片、16fps 成片 |
补充说明:FastFrames-L 放到单卡 B200 运行时,单帧延迟会上涨到 158ms,速度大幅下降,需要多卡才能稳住低延迟。
二、FastFrames 提速的核心技术点
- 定位瓶颈:测试发现传统视频模型里 VAE 解码、KV 缓存更新,占用了一半以上推理时间,是主要拖慢环节
- 轻量化解码器:用 ConvNeXt 结构替代原版 VAE 解码,解码速度提升 147 倍,画质损失很小
- KV 缓存轻量化更新:替换原来的 DiT 刷新流程,缓存更新速度提升 10 倍
- 两步采样:整个扩散只做两次采样步骤,不像传统扩散模型需要几十次迭代降噪
- 自回归生成:逐帧生成,支持用户一边操作、一边实时改变画面,适合交互场景
三、发布授权与使用边界
- 开放内容:模型权重、推理代码、训练脚本,上传到 Hugging Face 和 GitHub
- 授权协议:Apple Sample Code License,权重仅限非商用学术研究,不能直接拿来做付费产品
- 不开放内容:苹果内部训练用的万级视频数据集没有对外放出
- 产品定位:科研项目,不是面向普通用户的消费端视频工具
四、适合场景和短板
✅ 适合场景
- 交互式 AI 视频、相机视角跟随生成
- 物理条件驱动的实时仿真画面
- AR/VR 实时内容生成、游戏内 AI 场景预览
- 第三方视频模型的提速改造,官方测试 LingBot、RealWonder 移植后速度提升十几倍
❌ 当前短板
- 分辨率固定 832×480,还不支持 4K、2K 高清
- 成片固定 81 帧,约 5 秒短片,长视频连贯性还需要继续优化
- 对显卡要求高,普通消费级显卡跑不到 28 帧这个速度
- 属于研究模型,文字渲染、复杂长逻辑画面依然会出错
五、和普通文生视频模型的差别
普通文生视频:输入提示词,等几十秒直接出完整视频,属于离线生成,没法中途修改画面
FastFrames:逐帧实时生成,延迟足够低,用户拖动参数、改变视角,画面可以跟着同步变化,主打交互实时性。
【相关 FAQ】
问题 1:苹果开放权重 FastFrames 单卡每秒约 28 帧,这个速度是普通显卡都能跑出来的吗?
回答 1:苹果开放权重 FastFrames 单卡每秒约 28 帧,这个成绩是在英伟达 B200 专业显卡测出的,普通消费显卡算力不足,跑不到这个帧率,延迟会明显拉高。
问题 2:苹果开放权重 FastFrames,开放权重是不是代表可以商用做视频产品?
回答 2:苹果开放权重 FastFrames 权重仅限非商用学术研究,按照协议不能直接商用,想要商业化使用需要单独和苹果沟通授权。
问题 3:苹果 FastFrames 每秒 28 帧,生成出来的成片视频帧率就是 28fps 吗?
回答 3:不是,苹果 FastFrames 每秒 28 帧是模型单帧生成速度,模型输出成片固定是 16fps,28 帧 / 秒指 AI 产出画面的响应速度,不是最终视频播放帧率。
问题 4:FastFrames 这套加速方案,除了苹果自家模型,别的视频模型也能用吗?
回答 4:可以,FastFrames 这套轻量化解码、缓存优化的加速方案可以移植到其他视频模型,官方测试 LingBot、RealWonder 接入之后,速度提升十几倍。
【参考资料】
[2026-11-20](苹果 FastFrames 实时视频模型:单卡 28 帧,开放权重)智东西
[2026-11-19](Apple FastFrames Video Generation at Interactive Latency)Neurohive
[2026-11-18](FastFrames:苹果实时视频扩散模型论文)arXiv
[2026-11-18](苹果发布 FastFrames,低延迟交互式视频生成)机器之心
【免责声明】
本文仅为苹果 FastFrames 开放权重模型科普,每秒 28 帧是在指定 B200 硬件环境下的官方测试数据,不同硬件、部署环境、参数设置帧率会出现浮动;模型权重仅限非商用研究,画质、稳定性属于科研版本水平,不适合直接落地商用生产,本文不构成项目选型、采购显卡的决策依据。
