解决方案是VAE时空压缩——先把视频压到一个小得多的潜空间里,在潜空间完成生成,再解码回高清像素。
VAE时空压缩到底在做什么先说最基本的概念。VAE由编码器和解码器两部分组成。Wan2.2的VAE是空间16倍、时间4倍,总压缩比1:1024。Step-Video用的是16×16空间加8倍时间压缩。VAE的好坏,直接决定视频生成的上限。如果VAE只能做到8倍空间压缩,生成4K视频需要的潜空间是480×270,这对DiT来说已经是很大的计算量。VAE只负责重建质量,不负责语义正确性;扩散模型在潜空间里负责语义和内容。VAE时空压缩模块优化后,AI视频工作台在三个方面有了明显提升。星宇智算把这套能力打磨进AI视频工作台,目标很明确:让高分辨率视频生成,既快又清楚。
