苹果正式开源 FastFrames 系列两款实时视频生成模型 FastFrames-S、FastFrames-L,主打交互式低延迟文生视频,其中小参数版本 FastFrames-S 在单张英伟达 B200 显卡上单帧延迟达到 36 毫秒,同时配套公开的 CalibAtt 校准稀疏注意力优化方案不局限于自家模型,能够给 Wan2.1、Mochi 1 等市面上主流视频生成模型提速。目前很多文生视频模型普遍采样步数多、解码开销大,很难做到实时交互,苹果这次的优化思路重点砍掉 VAE 解码和 KV 缓存更新里的冗余计算,把解码耗时大幅压缩,还设计了两步采样的自回归扩散架构,在画质基本不掉的前提下拉高生成帧率。整套开源包包含模型权重、GitHub 代码、评测脚本、训练文档,上传在 Hugging Face 平台,许可范围仅限非商业科研使用,开发者可以直接下载复现测速结果,也能单独把 CalibAtt 稀疏注意力方案拿出来改造别的视频模型。
一、两款 FastFrames 视频生成模型基础信息
| 模型名称 | 参数量 | 测试硬件 | 单帧延迟 | 对比基准 |
|---|---|---|---|---|
| FastFrames-S | 13 亿 | 单卡 B200 | 36ms | 速度是 Causal Forcing++ 约 7.6 倍,画质接近 |
| FastFrames-L | 140 亿 | 8 卡 B200 | 45ms | 速度是 Krea-Realtime 约 10.6 倍,画质对标 |
统一规格:输出分辨率 832×480(480P),81 帧片段,帧率 16fps,两步采样自回归扩散视频模型
二、三大核心提速技术拆解
- 轻量像素解码器:替换传统高开销 VAE 解码器,不再反复上采样计算,在低维空间完成运算之后一次性输出像素,解码耗时从一百多毫秒压缩到 1 毫秒左右,是延迟下降最关键的改动。
- KV 缓存轻量化优化:新增小网络修正缓存更新逻辑,减少每帧生成时重复计算历史时序信息,降低缓存模块开销。
- CalibAtt 校准稀疏注意力:属于通用提速方案,提前离线标定时空注意力里不重要的 token 连接,推理时跳过无效计算,属于免训练优化,给其他主流视频模型最高带来 1.58 倍提速,画质基本不受影响。
三、模型能力与支持场景
- 支持文生视频,输入文本提示词直接生成连续短视频片段
- 面向实时交互场景,适合 AI 数字人、交互式游戏画面生成、实时预览创作工具
- 输出视频时序一致性较好,两步采样减少多步去噪带来的抖动问题
- 开源资源:Hugging Face 权重、GitHub 工程代码、评测脚本、论文,配套实验复现指引
四、使用上的限制说明
- 开源协议限定非商业科研用途,不能直接拿来商用上线产品
- 当前只支持 480P 分辨率,暂不支持更高清的 720P、1080P 生成
- 官方测试基于英伟达 B200 GPU,在其他显卡、苹果硅芯片上运行延迟会发生变化
- CalibAtt 虽然通用,但不同模型适配需要做标定调试,不是一键直接生效
五、和行业同类视频模型对比优势
- 延迟优势突出,做到交互级生成速度,多数同类模型一帧延迟动辄几百毫秒
- 优化方案解耦,模型本身和 CalibAtt 提速技术分开,社区可以单独取用加速模块
- 配套完整评测工具链,研究者方便做横向性能对照
- 架构精简,两步采样降低推理时的调度负担
六、后续发展方向
本次发布定位科研向开源项目,不是苹果面向消费者的成品功能;后续苹果团队会继续迭代高分辨率版本,同时持续打磨 CalibAtt 稀疏注意力方案,扩大适配的视频模型清单,推动实时视频生成技术在社区落地。
【常见问题】
问题 1:苹果开源的两大视频生成模型 FastFrames,哪一款单卡延迟 36 毫秒?
回答 1:苹果开源的两大视频生成模型 FastFrames 里,FastFrames-S(13 亿参数版本)在单张英伟达 B200 GPU 上测试,单帧生成延迟为 36 毫秒。
问题 2:苹果 FastFrames 视频生成模型配套的提速技术,能不能给别家视频模型提速?
回答 2:可以,苹果 FastFrames 视频生成模型配套 CalibAtt 校准稀疏注意力提速方案,属于免训练优化手段,能够给 Wan2.1、Mochi 1 等其他主流视频生成模型提速。
问题 3:苹果开源 FastFrames 两大视频生成模型,开放出来的资源包含哪些?
回答 3:苹果开源 FastFrames 两大视频生成模型,开放 Hugging Face 模型权重、GitHub 运行代码、评测脚本、训练文档以及配套技术论文,方便研究者复现实验。
问题 4:苹果 FastFrames 视频生成模型开源之后可以直接商用吗?
回答 4:不可以,苹果 FastFrames 两大视频生成模型开源协议限定为非商业科研用途,如果要商用,需要等待官方后续更新许可或者单独沟通授权。
【参考资料】
[2026-11-18](苹果开源两大视频生成模型!单卡延迟 36 毫秒,技术秘籍还能给别家模型提速)智东西
[2026-11-18](Apple Opens FastFrames Video-Generation Models)TSN
[2026-11-18](Apple-Cornell FastFrames Runs 1.3B Autoregressive Video Diffusion at 36ms/Frame on One B200)AI Weekly
[2026-11-17](FastFrames: Video Generation at Interactive Latency)arXiv
[2026-11-17](Accelerating Text-to-Video Generation with Calibrated Sparse Attention)Apple Machine Learning Research
【免责声明】
本文仅为苹果 FastFrames 视频生成模型开源资讯整理,36 毫秒延迟是官方在指定 B200 硬件环境下测得数据,更换硬件、提示词、推理参数后结果会变化;CalibAtt 提速效果随目标模型结构存在差异;模型许可、功能、分辨率限制以苹果开源项目页与论文原文为准,不构成开发采购、商用落地建议。
