您的位置首页 >人工智能 >

开源端侧TTS模型Phonon发布,离线高质量语音合成成绩领先

我先查证 Phonon 这个开源 TTS 模型的发布信息、技术规格与评测成绩,确认无误后再按模板成稿。

开源端侧 TTS 模型 Phonon 发布:65MB 离线跑,英语可商用

核心结论: Phonon 是 Gradium(由 Kyutai 研究实验室联合创始人创立、获 NVIDIA 支持的语音 AI 公司)在 2026 年 10 月 20 日至 21 日开源的端侧文本转语音模型族,分 31m 和 40m 两个尺寸,8 位量化后分别约 64.5MB 和 74.6MB,不需要 GPU、不需要联网,手机上、笔记本上、树莓派上、浏览器标签页里都能跑。它的领先主要体现在三个指标上:自然度盲测偏好超过 Kokoro、Magpie、Pocket TTS 等同尺寸开源模型;难句准确率(电话号码、邮箱、邮编这类结构化文本)明显更低;首字时延在 CPU 上压到 5 至 7 毫秒量级,而 Kokoro 要 517 毫秒。开源两周下载量突破 20 万次。需要提前说清的是许可分层:英语 31m 是 Apache 2.0,可商用;40m 系列是 CC BY-NC 4.0,仅限非商用,音色克隆与音色设计也要走 Gradium 云端。

一、先看清它是什么:两个尺寸,两套许可

项目Phonon 31mPhonon 40m / 40m 多语
参数量31M40M
量化后体积(q8)64.5MB74.6MB
语言英语英、法、德、西、葡(单语版各一模型;多语版一个模型覆盖五语)
内置音色37 个英语音色每语言 12 至 37 个;多语版 102 个
许可Apache 2.0,可商用CC BY-NC 4.0,非商用
适合最小体积、最省内存表现力与复杂文本准确率优先
输出24kHz 单声道,约 80ms 一帧流式输出同左

架构上它是纯因果 Transformer 主干,6 层(31m)或 9 层(40m)、宽度 512、8 个注意力头,全部从同一个更大的 “教师模型” 蒸馏而来,共享同一个 flow-matching 头和 Mimi 解码器。Gradium

二、为什么这么小还能好听:三步生成,一个关键设计

  1. 不做音素转换。 文本走 SentencePiece 分词器(4000 词表),直接读原始文本,不经过 phonemizer。这一步省掉的不只是算力,还有 “遇到生僻词、专有名词、技术术语就念错” 的老问题。
  2. 自回归出潜变量。 主干每 80 毫秒生成一个音频潜变量,潜变量既当输入也当输出,扮演语言模型里 token 的角色。
  3. 一步 flow-matching 转波形。 flow-matching 头把这个潜变量加噪声一步转成连续音频嵌入,再由精简版 Mimi 解码器还原成 24kHz PCM;另有一个结束头(EOS)判断何时停止。

因为逐帧生成,所以它天然支持流式:一句话还没生成完,前面的音频已经开始播了。这和 Kokoro 那种 “整段渲染完再播” 的路线是两种体验,在语音助手里差距很直观:用户等的是第一声,而不是整句。ScriptByAI

三、成绩单:自然度、准确率、时延三张表

自然度(盲测 Elo,1189 名评审、17270 次投票,厂商组织):

模型美式英语 Elo
Phonon 40m2117
Phonon 31m2098
Kokoro2043
NeuTTS2034

准确率(难句集,每语言 500 句,含电话号、邮箱、邮编):

模型词错误率
Phonon 31m1.70%
Phonon 40m 多语2.11%
Phonon 40m2.22%
Kokoro3.50%
Kitten TTS7.40%
NeuTTS Nano8.71%
Magpie27.51%

首字时延与速度(厂商及合作伙伴实测):

硬件首字时延实时倍率
MacBook Air M5 CPU(4 线程)7ms(31m)约 46.7 倍
树莓派 5(单核)38ms(31m)3.7 倍
Arm KleidiAI 加速28ms—
骁龙 8 Elite Gen 57.5ms24 倍
NVIDIA L40S(CUDA)5ms比 CPU 快 8 倍

另据 Gradium 11 月 5 日披露,在 Hugging Face 的 Open TTS Leaderboard 上,Phonon 在德语、西班牙语的可懂度排名第一,在所评估的每种语言里都进了前三,对比对象包括体积大它 100 倍的模型;CPU 流式首字时延的 95 分位排名里,Phonon 31m 以 28ms 居首,40m 以 38ms 第二,Pocket TTS 为 165ms。Unite.AI

四、看这组数字要留的三个心眼

  • 口径来源。 自然度 Elo 与难句 WER 都是 Gradium 自己组织、自己评的,评审是厂商招募的,转写用的是第三方模型(qwen3.8-omni-flash),但没有第三方实验室复现。当成 “强厂商结果” 看更合适,不是定论。
  • 测试集不同不能横比。 Seed-TTS 的 1.00% WER 与云端榜单上的约 5% 不是一个数据集、不是一套方法,不能拿来直接说 “端侧比云端准”。
  • 浏览器不等于原生。 有媒体在桌面 Chrome(WebAssembly,3 线程)实测:首次要下载 65MB 模型,首字 368ms;第二次热启动 42ms、7.8 倍实时。比原生 M5 的数字慢,但已经远快于人说话的速度。

Gradium

五、怎么跑起来:五条路径,按场景挑

场景做法命令 / 要点
零安装试听打开 Hugging Face 上的 Phonon 演示 Space选 31m、输入文本、选音色、点播放,模型只下载一次
命令行出 WAV用 uvx 直接跑uvx ptts --lang en --voice Zoey “文本” -o out.wav
Python 应用pip install ptts建一次 TTS 对象复用;synth 返回数组,stream 拿音频块
网页 / 浏览器npm install phonon-tts默认在 WebAssembly worker 里跑,首次拉 31m 权重后走浏览器缓存
本地服务 / 助手Docker 起 OpenAI 兼容服务端口 8880,接口 /v1/audio/speech;Home Assistant 走 Wyoming 10200

推理引擎 ptts 用 Rust 写,不依赖 PyTorch,支持 CPU(Intel/Arm/WebAssembly)、GPU(CUDA/Vulkan/Metal/WebGPU)、NPU(Apple Core ML / 骁龙)十多种后端;也提供 Swift、Android QNN/CPU、C/C++ 的封装。Hugging Face Transformers 从 5.21 版起也内置了 Phonon 的参考实现,适合批量合成数据集,但它不支持直接从录音克隆音色,也不做数字、金额、地址的自动展开。AI Breaking Wire

六、许可与能力边界,上线前必须核对

关注点实际情况
商用只有英语 31m 是 Apache 2.0,可用于付费产品;40m 系列为 CC BY-NC 4.0,商用需与 Gradium 谈授权,按其说法按用户数而非合成量计费
多语言法语、德语、西班牙语、葡萄牙语可用,但都在非商用许可下
音色克隆开源权重本身不提供克隆;需在 Gradium Studio 用约 10 秒录音(需授权)或文本描述生成音色文件,再下载到本地离线使用
韵律长文本会按句切分,语气和节奏不跨句延续,适合清晰播报,不适合戏剧化朗读
表现力24kHz 单声道、无情感标签,追求表演级效果仍需更大模型
扩展语言官方称可为韩语、阿拉伯语、日语训练定制版本,也可按产品词表微调

Unite.AI常见问题

问题 1:Phonon 是完全免费、可商用的开源端侧 TTS 模型吗?

回答 1:要分版本看。开源端侧 TTS 模型 Phonon 的英语 31m 版本采用 Apache 2.0,可以免费用在付费产品和商业项目里;40m 与 40m 多语版本是 CC BY-NC 4.0,仅限非商用。所以 “Phonon 免费可商用” 只对英语 31m 成立,多语言商用需另行授权。

问题 2:Phonon 端侧 TTS 模型到底有多小,需要什么硬件?

回答 2:开源端侧 TTS 模型 Phonon 的 31m 版本 q8 量化后约 64.5MB,40m 系列约 74.6MB,输出 24kHz 单声道音频。它不需要 GPU,现代 CPU 即可,实测在 MacBook Air M5、树莓派 5、Arm 平台、骁龙 8 Elite Gen 5 和浏览器里都能跑,首字时延从 5ms 到 38ms 不等。

问题 3:Phonon 的语音合成成绩是同尺寸里最好的吗?

回答 3:按厂商公布的数据,Phonon 端侧 TTS 模型在难句集词错误率上为 1.70%(31m),低于 Kokoro 的 3.50%、NeuTTS Nano 的 8.71%、Magpie 的 27.51%;盲测自然度 Elo 也高于 Kokoro 与 NeuTTS;Hugging Face Open TTS Leaderboard 上德语、西语可懂度第一。但这些主要是厂商自测口径,尚无第三方实验室完整复现。

问题 4:Phonon 能在浏览器里离线合成语音吗?

回答 4:可以。Phonon 端侧 TTS 模型提供 WebAssembly 与 WebGPU 后端,用 npm 包 phonon-tts 在标签页内推理,首次会话从 Hugging Face 拉取约 65MB 权重,之后走浏览器缓存,断网也能继续合成。实测浏览器里热启动首字约 42ms、7.8 倍实时,比原生慢但足够自然对话使用。

问题 5:Phonon 开源端侧 TTS 模型能克隆我的声音吗?

回答 5:开源权重本身不能。Phonon 端侧 TTS 模型的音色克隆与音色设计要在 Gradium Studio 里完成:用约 10 秒的授权录音克隆,或用文字描述设计一个新音色,导出音色文件后再加载到本地模型离线使用。也就是说生成音色这一步需要云端,合成这一步完全在设备上。

creativeaishow.com数据来源

  • [2026-11-05](Gradium's On-Device Phonon TTS Passes 200,000 Downloads in Two Weeks)Unite.AI
  • [2026-11-05](Phonon On-Device TTS: 200K Downloads, Top Benchmarks)AI Breaking Wire
  • [2026-10-30](Phonon (xn-ptts): On-Device Text-to-Speech for Apps and Browsers)ScriptByAI
  • [2026-10-23](Phonon TTS Is Free and Apache 2.0: A 65 MB AI Voice That Runs in Your Browser)Creative AI Show
  • [2026-10-21](Gradium releases Phonon, open-source on-device Text-to-Speech)Gradium
  • [2026-10-20](Open-Sourcing Phonon: A Suite of Frontier On-Device TTS Models)Gradium
  • [2026-09-10](On-Device TTS Benchmark 2026: Phonon vs Kani vs NeuTTS)Gradium

免责声明

本文基于 Gradium 官方发布文章、技术博客与第三方媒体报道整理,仅用于技术信息分享,不构成采购或投资建议。文中自然度评分、词错误率、首字时延与实时倍率主要来自厂商及其合作伙伴自测,测试环境与测试集各异,尚无第三方完整复现,实际表现请以自有硬件实测为准;模型许可、商用条款与音色克隆政策以 Hugging Face 模型卡和 Gradium 官方最新说明为准。

今日大家都在搜的词: