您的位置首页 >人工智能 >

苹果开放权重 FastFrames 视频模型 单卡可达每秒 28 帧接近播放速度

苹果联合康奈尔大学放出开放权重的 FastFrames 实时视频生成模型,其中 13 亿参数版本 FastFrames-S 在单张英伟达 B200 显卡上,每帧生成耗时 36 毫秒,换算下来每秒约 28 帧,速度已经接近正常视频播放水准,而且在 VBench 评测里,画质和原来慢 8 倍的基线模型保持持平,这套模型是自回归两步扩散架构,分为大小两个版本,权重和代码都对外放出,但是有明确的非商用研究限制,它的提速核心不是简单压缩模型,而是换掉了原来拖慢速度的 VAE 解码、KV 缓存更新模块,用轻量化结构替代,把推理延迟压到 50 毫秒以内,刚好踩中人类感知无卡顿交互的门槛,适合交互式生成、相机跟随、物理仿真这类需要实时响应的视频场景,也能给其他第三方视频模型移植这套加速方案,给整个实时视频生成赛道带来新的优化思路。

一、FastFrames 版本和基准参数

版本参数量测试硬件单帧延迟生成速度输出规格
FastFrames-S1.3B单张 B20036ms28 帧 / 秒832×480、81 帧短片、16fps 成片
FastFrames-L14B8 张 B200 集群45ms22 帧 / 秒832×480、81 帧短片、16fps 成片

补充说明:FastFrames-L 放到单卡 B200 运行时,单帧延迟会上涨到 158ms,速度大幅下降,需要多卡才能稳住低延迟。

二、FastFrames 提速的核心技术点

  1. 定位瓶颈:测试发现传统视频模型里 VAE 解码、KV 缓存更新,占用了一半以上推理时间,是主要拖慢环节
  2. 轻量化解码器:用 ConvNeXt 结构替代原版 VAE 解码,解码速度提升 147 倍,画质损失很小
  3. KV 缓存轻量化更新:替换原来的 DiT 刷新流程,缓存更新速度提升 10 倍
  4. 两步采样:整个扩散只做两次采样步骤,不像传统扩散模型需要几十次迭代降噪
  5. 自回归生成:逐帧生成,支持用户一边操作、一边实时改变画面,适合交互场景

三、发布授权与使用边界

  • 开放内容:模型权重、推理代码、训练脚本,上传到 Hugging Face 和 GitHub
  • 授权协议:Apple Sample Code License,权重仅限非商用学术研究,不能直接拿来做付费产品
  • 不开放内容:苹果内部训练用的万级视频数据集没有对外放出
  • 产品定位:科研项目,不是面向普通用户的消费端视频工具

四、适合场景和短板

✅ 适合场景

  • 交互式 AI 视频、相机视角跟随生成
  • 物理条件驱动的实时仿真画面
  • AR/VR 实时内容生成、游戏内 AI 场景预览
  • 第三方视频模型的提速改造,官方测试 LingBot、RealWonder 移植后速度提升十几倍

❌ 当前短板

  • 分辨率固定 832×480,还不支持 4K、2K 高清
  • 成片固定 81 帧,约 5 秒短片,长视频连贯性还需要继续优化
  • 对显卡要求高,普通消费级显卡跑不到 28 帧这个速度
  • 属于研究模型,文字渲染、复杂长逻辑画面依然会出错

五、和普通文生视频模型的差别

普通文生视频:输入提示词,等几十秒直接出完整视频,属于离线生成,没法中途修改画面

FastFrames:逐帧实时生成,延迟足够低,用户拖动参数、改变视角,画面可以跟着同步变化,主打交互实时性。

【相关 FAQ】

问题 1:苹果开放权重 FastFrames 单卡每秒约 28 帧,这个速度是普通显卡都能跑出来的吗?

回答 1:苹果开放权重 FastFrames 单卡每秒约 28 帧,这个成绩是在英伟达 B200 专业显卡测出的,普通消费显卡算力不足,跑不到这个帧率,延迟会明显拉高。

问题 2:苹果开放权重 FastFrames,开放权重是不是代表可以商用做视频产品?

回答 2:苹果开放权重 FastFrames 权重仅限非商用学术研究,按照协议不能直接商用,想要商业化使用需要单独和苹果沟通授权。

问题 3:苹果 FastFrames 每秒 28 帧,生成出来的成片视频帧率就是 28fps 吗?

回答 3:不是,苹果 FastFrames 每秒 28 帧是模型单帧生成速度,模型输出成片固定是 16fps,28 帧 / 秒指 AI 产出画面的响应速度,不是最终视频播放帧率。

问题 4:FastFrames 这套加速方案,除了苹果自家模型,别的视频模型也能用吗?

回答 4:可以,FastFrames 这套轻量化解码、缓存优化的加速方案可以移植到其他视频模型,官方测试 LingBot、RealWonder 接入之后,速度提升十几倍。

【参考资料】

[2026-11-20](苹果 FastFrames 实时视频模型:单卡 28 帧,开放权重)智东西

[2026-11-19](Apple FastFrames Video Generation at Interactive Latency)Neurohive

[2026-11-18](FastFrames:苹果实时视频扩散模型论文)arXiv

[2026-11-18](苹果发布 FastFrames,低延迟交互式视频生成)机器之心

【免责声明】

本文仅为苹果 FastFrames 开放权重模型科普,每秒 28 帧是在指定 B200 硬件环境下的官方测试数据,不同硬件、部署环境、参数设置帧率会出现浮动;模型权重仅限非商用研究,画质、稳定性属于科研版本水平,不适合直接落地商用生产,本文不构成项目选型、采购显卡的决策依据。

今日大家都在搜的词: