您的位置首页 >人工智能 >

苹果开源 FastFrames 两大视频生成模型,单卡低延迟 36 毫秒,提速方案可适配其他视频模型

苹果正式开源 FastFrames 系列两款实时视频生成模型 FastFrames-S、FastFrames-L,主打交互式低延迟文生视频,其中小参数版本 FastFrames-S 在单张英伟达 B200 显卡上单帧延迟达到 36 毫秒,同时配套公开的 CalibAtt 校准稀疏注意力优化方案不局限于自家模型,能够给 Wan2.1、Mochi 1 等市面上主流视频生成模型提速。目前很多文生视频模型普遍采样步数多、解码开销大,很难做到实时交互,苹果这次的优化思路重点砍掉 VAE 解码和 KV 缓存更新里的冗余计算,把解码耗时大幅压缩,还设计了两步采样的自回归扩散架构,在画质基本不掉的前提下拉高生成帧率。整套开源包包含模型权重、GitHub 代码、评测脚本、训练文档,上传在 Hugging Face 平台,许可范围仅限非商业科研使用,开发者可以直接下载复现测速结果,也能单独把 CalibAtt 稀疏注意力方案拿出来改造别的视频模型。

一、两款 FastFrames 视频生成模型基础信息

模型名称参数量测试硬件单帧延迟对比基准
FastFrames-S13 亿单卡 B20036ms速度是 Causal Forcing++ 约 7.6 倍,画质接近
FastFrames-L140 亿8 卡 B20045ms速度是 Krea-Realtime 约 10.6 倍,画质对标

统一规格:输出分辨率 832×480(480P),81 帧片段,帧率 16fps,两步采样自回归扩散视频模型

二、三大核心提速技术拆解

  1. 轻量像素解码器:替换传统高开销 VAE 解码器,不再反复上采样计算,在低维空间完成运算之后一次性输出像素,解码耗时从一百多毫秒压缩到 1 毫秒左右,是延迟下降最关键的改动。
  2. KV 缓存轻量化优化:新增小网络修正缓存更新逻辑,减少每帧生成时重复计算历史时序信息,降低缓存模块开销。
  3. CalibAtt 校准稀疏注意力:属于通用提速方案,提前离线标定时空注意力里不重要的 token 连接,推理时跳过无效计算,属于免训练优化,给其他主流视频模型最高带来 1.58 倍提速,画质基本不受影响。

三、模型能力与支持场景

  • 支持文生视频,输入文本提示词直接生成连续短视频片段
  • 面向实时交互场景,适合 AI 数字人、交互式游戏画面生成、实时预览创作工具
  • 输出视频时序一致性较好,两步采样减少多步去噪带来的抖动问题
  • 开源资源:Hugging Face 权重、GitHub 工程代码、评测脚本、论文,配套实验复现指引

四、使用上的限制说明

  1. 开源协议限定非商业科研用途,不能直接拿来商用上线产品
  2. 当前只支持 480P 分辨率,暂不支持更高清的 720P、1080P 生成
  3. 官方测试基于英伟达 B200 GPU,在其他显卡、苹果硅芯片上运行延迟会发生变化
  4. CalibAtt 虽然通用,但不同模型适配需要做标定调试,不是一键直接生效

五、和行业同类视频模型对比优势

  1. 延迟优势突出,做到交互级生成速度,多数同类模型一帧延迟动辄几百毫秒
  2. 优化方案解耦,模型本身和 CalibAtt 提速技术分开,社区可以单独取用加速模块
  3. 配套完整评测工具链,研究者方便做横向性能对照
  4. 架构精简,两步采样降低推理时的调度负担

六、后续发展方向

本次发布定位科研向开源项目,不是苹果面向消费者的成品功能;后续苹果团队会继续迭代高分辨率版本,同时持续打磨 CalibAtt 稀疏注意力方案,扩大适配的视频模型清单,推动实时视频生成技术在社区落地。

【常见问题】

问题 1:苹果开源的两大视频生成模型 FastFrames,哪一款单卡延迟 36 毫秒?

回答 1:苹果开源的两大视频生成模型 FastFrames 里,FastFrames-S(13 亿参数版本)在单张英伟达 B200 GPU 上测试,单帧生成延迟为 36 毫秒。

问题 2:苹果 FastFrames 视频生成模型配套的提速技术,能不能给别家视频模型提速?

回答 2:可以,苹果 FastFrames 视频生成模型配套 CalibAtt 校准稀疏注意力提速方案,属于免训练优化手段,能够给 Wan2.1、Mochi 1 等其他主流视频生成模型提速。

问题 3:苹果开源 FastFrames 两大视频生成模型,开放出来的资源包含哪些?

回答 3:苹果开源 FastFrames 两大视频生成模型,开放 Hugging Face 模型权重、GitHub 运行代码、评测脚本、训练文档以及配套技术论文,方便研究者复现实验。

问题 4:苹果 FastFrames 视频生成模型开源之后可以直接商用吗?

回答 4:不可以,苹果 FastFrames 两大视频生成模型开源协议限定为非商业科研用途,如果要商用,需要等待官方后续更新许可或者单独沟通授权。

【参考资料】

[2026-11-18](苹果开源两大视频生成模型!单卡延迟 36 毫秒,技术秘籍还能给别家模型提速)智东西

[2026-11-18](Apple Opens FastFrames Video-Generation Models)TSN

[2026-11-18](Apple-Cornell FastFrames Runs 1.3B Autoregressive Video Diffusion at 36ms/Frame on One B200)AI Weekly

[2026-11-17](FastFrames: Video Generation at Interactive Latency)arXiv

[2026-11-17](Accelerating Text-to-Video Generation with Calibrated Sparse Attention)Apple Machine Learning Research

【免责声明】

本文仅为苹果 FastFrames 视频生成模型开源资讯整理,36 毫秒延迟是官方在指定 B200 硬件环境下测得数据,更换硬件、提示词、推理参数后结果会变化;CalibAtt 提速效果随目标模型结构存在差异;模型许可、功能、分辨率限制以苹果开源项目页与论文原文为准,不构成开发采购、商用落地建议。

今日大家都在搜的词: