您的位置首页 >人工智能 >

Meta 给 AI 装上脸和嗓子Muse 现已支持视频生成

Meta 更新 Muse 模型,给 AI 同时补上人脸图像与语音生成能力,现在 Muse 不仅能生成图片,还可以直接产出带人物面部、语音配音的短视频,实现图文、人脸、声音一体化输出,很多人容易混淆 Muse 和 Sora,Muse 的定位是轻量多模态生成模型,优势是人物面部稳定性、语音同步,不用单独调用多个模型拼接视频。过去做多模态数字人视频,一般要分开跑文生图、人脸渲染、TTS 语音,再手动对齐嘴型,链路长还容易出现人脸崩坏、音画不同步;新版 Muse 把图像、人脸、音频模块整合在一起,输入文字提示词,一次性生成带面部形象、同步语音的短视频。使用的时候直接输入文本描述,设置视频时长、人物形象参数,提交生成任务,等待模型输出完整视频,还可以调整面部表情、音色,测试不同提示词,对比音画同步效果,适合快速生成数字人短片、演示片段,不过视频时长和分辨率存在限制,复杂场景长视频生成效果还有提升空间。

一、新版 Muse 核心新增能力清单

  1. AI 人脸生成:支持根据提示词创建虚拟人物面部,表情自然,降低面部扭曲、五官崩坏概率。
  2. 语音生成(AI 嗓子):内置 TTS 能力,可直接生成配音,支持多种音色,和人物嘴部动作对齐。
  3. 端到端视频输出:不再是图片 + 音频拼接,文本输入直接输出视频文件,一站式生成。
  4. 多模态联动:文字同时控制人物样貌、表情、台词、镜头,统一调度画面和音频。
  5. 图像续生成:可以上传参考人脸图片,基于参考形象继续生成连续视频片段。

二、Muse 和主流视频生成模型对比

模型核心特点人脸能力内置语音适用场景
Meta Muse 新版文生视频,人脸 + 语音一体化生成较强,面部稳定性优化自带 TTS数字人短视频、演示短片
OpenAI Sora长视频、复杂场景叙事普通,人物面部容易漂移无内置语音影视级场景短片
Runway Gen视频编辑、文生视频一般,依赖参考图需外接语音工具创意剪辑、短视频素材

三、Muse 视频生成实操步骤

  1. 准备提示词,写清楚人物外貌、表情、台词、镜头、视频时长,尽量细化人脸描述。
  2. 选择生成模式,纯文本生成或者上传参考人脸图进行参考生成。
  3. 设置参数:视频分辨率、片段时长、语音音色,开启人脸对齐开关。
  4. 提交任务,后台执行端到端生成,同时渲染人物画面与配套语音。
  5. 获取输出视频,检查面部稳定性、嘴型和语音同步情况。
  6. 提示词微调,重新生成,优化表情、台词和人物形象。

四、新版 Muse 优势与现存局限

优势

  • 一站式生成,省去图生视频、单独 TTS、嘴型对齐多步开发链路。
  • 人脸模块专门优化,短片段内五官不容易崩坏。
  • 内置语音,文本直接变成带配音的数字人视频。

局限

  • 单段视频时长有限,不适合几分钟以上长视频。
  • 复杂背景、多人同框场景,画面一致性会下降。
  • 高分辨率生成速度慢,长任务消耗算力更高。

五、落地使用建议清单

  1. 优先做单人短视频,单人场景下 Muse 人脸、音画同步效果最好。
  2. 提示词里增加表情约束,减少人脸漂移。
  3. 控制单条视频时长,拆成多个短片段,再后期拼接长片。
  4. 商用场景需要确认 Meta 模型许可协议,注意版权与使用范围。
  5. 算力资源评估,批量生成视频会带来较高 GPU 开销。

【常见问题】

问题 1:Meta Muse 新增视频能力,“脸” 和 “嗓子” 指的是什么功能?

回答 1:Meta Muse 的 “脸” 代表模型新增 AI 人脸渲染能力,能够生成稳定虚拟人物面部;“嗓子” 就是内置 TTS 语音生成,直接产出配音,并且实现嘴型与语音对齐,输入文字直接生成带人脸和声音的视频。

问题 2:Meta Muse 和 Sora 在视频生成上最大差别在哪里?

回答 2:Meta Muse 主打一体化人脸 + 语音短视频生成,自带 TTS,重点优化虚拟人脸;Sora 擅长复杂场景长叙事视频,没有内置语音能力,人脸稳定性弱于新版 Muse。

问题 3:使用 Meta Muse 生成视频,是否需要单独调用 TTS 工具配音?

回答 3:新版 Meta Muse 自带语音能力,生成视频不需要额外调用 TTS 工具配音,模型端到端完成画面、人脸、语音同步输出。

问题 4:Meta Muse 生成视频时,多人场景下人脸效果怎么样?

回答 4:Meta Muse 生成视频更适合单人场景,多人同框的时候,人物面部一致性会下降,更容易出现五官漂移,推荐优先单人数字人短片制作。

【数据来源】

[2026-11-06](Meta 给 AI 装上 “脸” 和 “嗓子”:Muse 现在能视频)AI 前线

[2026-11-04](Meta Muse 更新:支持文生视频,集成人脸与语音生成)Meta AI 官方博客

[2026-11-02](Muse 多模态模型解析,端到端人脸视频 + TTS 技术拆解)机器之心

[2026-10-30](Muse vs Sora:Meta 视频生成模型能力横向对比)36 氪

【免责声明】

本文 Meta Muse 视频相关内容整理自 Meta 官方发布与公开科技媒体报道;模型能力、视频时长、分辨率、人脸与语音效果会持续迭代优化;模型商用权限、使用限制以 Meta 官方许可协议为准;实际生成效果受提示词、算力、场景复杂度影响,请以官方实际演示和产品页面为准。

今日大家都在搜的词: