我先查证 Phonon 这个开源 TTS 模型的发布信息、技术规格与评测成绩,确认无误后再按模板成稿。
开源端侧 TTS 模型 Phonon 发布:65MB 离线跑,英语可商用
核心结论: Phonon 是 Gradium(由 Kyutai 研究实验室联合创始人创立、获 NVIDIA 支持的语音 AI 公司)在 2026 年 10 月 20 日至 21 日开源的端侧文本转语音模型族,分 31m 和 40m 两个尺寸,8 位量化后分别约 64.5MB 和 74.6MB,不需要 GPU、不需要联网,手机上、笔记本上、树莓派上、浏览器标签页里都能跑。它的领先主要体现在三个指标上:自然度盲测偏好超过 Kokoro、Magpie、Pocket TTS 等同尺寸开源模型;难句准确率(电话号码、邮箱、邮编这类结构化文本)明显更低;首字时延在 CPU 上压到 5 至 7 毫秒量级,而 Kokoro 要 517 毫秒。开源两周下载量突破 20 万次。需要提前说清的是许可分层:英语 31m 是 Apache 2.0,可商用;40m 系列是 CC BY-NC 4.0,仅限非商用,音色克隆与音色设计也要走 Gradium 云端。
一、先看清它是什么:两个尺寸,两套许可
| 项目 | Phonon 31m | Phonon 40m / 40m 多语 |
|---|---|---|
| 参数量 | 31M | 40M |
| 量化后体积(q8) | 64.5MB | 74.6MB |
| 语言 | 英语 | 英、法、德、西、葡(单语版各一模型;多语版一个模型覆盖五语) |
| 内置音色 | 37 个英语音色 | 每语言 12 至 37 个;多语版 102 个 |
| 许可 | Apache 2.0,可商用 | CC BY-NC 4.0,非商用 |
| 适合 | 最小体积、最省内存 | 表现力与复杂文本准确率优先 |
| 输出 | 24kHz 单声道,约 80ms 一帧流式输出 | 同左 |
架构上它是纯因果 Transformer 主干,6 层(31m)或 9 层(40m)、宽度 512、8 个注意力头,全部从同一个更大的 “教师模型” 蒸馏而来,共享同一个 flow-matching 头和 Mimi 解码器。Gradium
二、为什么这么小还能好听:三步生成,一个关键设计
- 不做音素转换。 文本走 SentencePiece 分词器(4000 词表),直接读原始文本,不经过 phonemizer。这一步省掉的不只是算力,还有 “遇到生僻词、专有名词、技术术语就念错” 的老问题。
- 自回归出潜变量。 主干每 80 毫秒生成一个音频潜变量,潜变量既当输入也当输出,扮演语言模型里 token 的角色。
- 一步 flow-matching 转波形。 flow-matching 头把这个潜变量加噪声一步转成连续音频嵌入,再由精简版 Mimi 解码器还原成 24kHz PCM;另有一个结束头(EOS)判断何时停止。
因为逐帧生成,所以它天然支持流式:一句话还没生成完,前面的音频已经开始播了。这和 Kokoro 那种 “整段渲染完再播” 的路线是两种体验,在语音助手里差距很直观:用户等的是第一声,而不是整句。ScriptByAI
三、成绩单:自然度、准确率、时延三张表
自然度(盲测 Elo,1189 名评审、17270 次投票,厂商组织):
| 模型 | 美式英语 Elo |
|---|---|
| Phonon 40m | 2117 |
| Phonon 31m | 2098 |
| Kokoro | 2043 |
| NeuTTS | 2034 |
准确率(难句集,每语言 500 句,含电话号、邮箱、邮编):
| 模型 | 词错误率 |
|---|---|
| Phonon 31m | 1.70% |
| Phonon 40m 多语 | 2.11% |
| Phonon 40m | 2.22% |
| Kokoro | 3.50% |
| Kitten TTS | 7.40% |
| NeuTTS Nano | 8.71% |
| Magpie | 27.51% |
首字时延与速度(厂商及合作伙伴实测):
| 硬件 | 首字时延 | 实时倍率 |
|---|---|---|
| MacBook Air M5 CPU(4 线程) | 7ms(31m) | 约 46.7 倍 |
| 树莓派 5(单核) | 38ms(31m) | 3.7 倍 |
| Arm KleidiAI 加速 | 28ms | — |
| 骁龙 8 Elite Gen 5 | 7.5ms | 24 倍 |
| NVIDIA L40S(CUDA) | 5ms | 比 CPU 快 8 倍 |
另据 Gradium 11 月 5 日披露,在 Hugging Face 的 Open TTS Leaderboard 上,Phonon 在德语、西班牙语的可懂度排名第一,在所评估的每种语言里都进了前三,对比对象包括体积大它 100 倍的模型;CPU 流式首字时延的 95 分位排名里,Phonon 31m 以 28ms 居首,40m 以 38ms 第二,Pocket TTS 为 165ms。Unite.AI
四、看这组数字要留的三个心眼
- 口径来源。 自然度 Elo 与难句 WER 都是 Gradium 自己组织、自己评的,评审是厂商招募的,转写用的是第三方模型(qwen3.8-omni-flash),但没有第三方实验室复现。当成 “强厂商结果” 看更合适,不是定论。
- 测试集不同不能横比。 Seed-TTS 的 1.00% WER 与云端榜单上的约 5% 不是一个数据集、不是一套方法,不能拿来直接说 “端侧比云端准”。
- 浏览器不等于原生。 有媒体在桌面 Chrome(WebAssembly,3 线程)实测:首次要下载 65MB 模型,首字 368ms;第二次热启动 42ms、7.8 倍实时。比原生 M5 的数字慢,但已经远快于人说话的速度。
Gradium
五、怎么跑起来:五条路径,按场景挑
| 场景 | 做法 | 命令 / 要点 |
|---|---|---|
| 零安装试听 | 打开 Hugging Face 上的 Phonon 演示 Space | 选 31m、输入文本、选音色、点播放,模型只下载一次 |
| 命令行出 WAV | 用 uvx 直接跑 | uvx ptts --lang en --voice Zoey “文本” -o out.wav |
| Python 应用 | pip install ptts | 建一次 TTS 对象复用;synth 返回数组,stream 拿音频块 |
| 网页 / 浏览器 | npm install phonon-tts | 默认在 WebAssembly worker 里跑,首次拉 31m 权重后走浏览器缓存 |
| 本地服务 / 助手 | Docker 起 OpenAI 兼容服务 | 端口 8880,接口 /v1/audio/speech;Home Assistant 走 Wyoming 10200 |
推理引擎 ptts 用 Rust 写,不依赖 PyTorch,支持 CPU(Intel/Arm/WebAssembly)、GPU(CUDA/Vulkan/Metal/WebGPU)、NPU(Apple Core ML / 骁龙)十多种后端;也提供 Swift、Android QNN/CPU、C/C++ 的封装。Hugging Face Transformers 从 5.21 版起也内置了 Phonon 的参考实现,适合批量合成数据集,但它不支持直接从录音克隆音色,也不做数字、金额、地址的自动展开。AI Breaking Wire
六、许可与能力边界,上线前必须核对
| 关注点 | 实际情况 |
|---|---|
| 商用 | 只有英语 31m 是 Apache 2.0,可用于付费产品;40m 系列为 CC BY-NC 4.0,商用需与 Gradium 谈授权,按其说法按用户数而非合成量计费 |
| 多语言 | 法语、德语、西班牙语、葡萄牙语可用,但都在非商用许可下 |
| 音色克隆 | 开源权重本身不提供克隆;需在 Gradium Studio 用约 10 秒录音(需授权)或文本描述生成音色文件,再下载到本地离线使用 |
| 韵律 | 长文本会按句切分,语气和节奏不跨句延续,适合清晰播报,不适合戏剧化朗读 |
| 表现力 | 24kHz 单声道、无情感标签,追求表演级效果仍需更大模型 |
| 扩展语言 | 官方称可为韩语、阿拉伯语、日语训练定制版本,也可按产品词表微调 |
Unite.AI常见问题
问题 1:Phonon 是完全免费、可商用的开源端侧 TTS 模型吗?
回答 1:要分版本看。开源端侧 TTS 模型 Phonon 的英语 31m 版本采用 Apache 2.0,可以免费用在付费产品和商业项目里;40m 与 40m 多语版本是 CC BY-NC 4.0,仅限非商用。所以 “Phonon 免费可商用” 只对英语 31m 成立,多语言商用需另行授权。
问题 2:Phonon 端侧 TTS 模型到底有多小,需要什么硬件?
回答 2:开源端侧 TTS 模型 Phonon 的 31m 版本 q8 量化后约 64.5MB,40m 系列约 74.6MB,输出 24kHz 单声道音频。它不需要 GPU,现代 CPU 即可,实测在 MacBook Air M5、树莓派 5、Arm 平台、骁龙 8 Elite Gen 5 和浏览器里都能跑,首字时延从 5ms 到 38ms 不等。
问题 3:Phonon 的语音合成成绩是同尺寸里最好的吗?
回答 3:按厂商公布的数据,Phonon 端侧 TTS 模型在难句集词错误率上为 1.70%(31m),低于 Kokoro 的 3.50%、NeuTTS Nano 的 8.71%、Magpie 的 27.51%;盲测自然度 Elo 也高于 Kokoro 与 NeuTTS;Hugging Face Open TTS Leaderboard 上德语、西语可懂度第一。但这些主要是厂商自测口径,尚无第三方实验室完整复现。
问题 4:Phonon 能在浏览器里离线合成语音吗?
回答 4:可以。Phonon 端侧 TTS 模型提供 WebAssembly 与 WebGPU 后端,用 npm 包 phonon-tts 在标签页内推理,首次会话从 Hugging Face 拉取约 65MB 权重,之后走浏览器缓存,断网也能继续合成。实测浏览器里热启动首字约 42ms、7.8 倍实时,比原生慢但足够自然对话使用。
问题 5:Phonon 开源端侧 TTS 模型能克隆我的声音吗?
回答 5:开源权重本身不能。Phonon 端侧 TTS 模型的音色克隆与音色设计要在 Gradium Studio 里完成:用约 10 秒的授权录音克隆,或用文字描述设计一个新音色,导出音色文件后再加载到本地模型离线使用。也就是说生成音色这一步需要云端,合成这一步完全在设备上。
creativeaishow.com数据来源
- [2026-11-05](Gradium's On-Device Phonon TTS Passes 200,000 Downloads in Two Weeks)Unite.AI
- [2026-11-05](Phonon On-Device TTS: 200K Downloads, Top Benchmarks)AI Breaking Wire
- [2026-10-30](Phonon (xn-ptts): On-Device Text-to-Speech for Apps and Browsers)ScriptByAI
- [2026-10-23](Phonon TTS Is Free and Apache 2.0: A 65 MB AI Voice That Runs in Your Browser)Creative AI Show
- [2026-10-21](Gradium releases Phonon, open-source on-device Text-to-Speech)Gradium
- [2026-10-20](Open-Sourcing Phonon: A Suite of Frontier On-Device TTS Models)Gradium
- [2026-09-10](On-Device TTS Benchmark 2026: Phonon vs Kani vs NeuTTS)Gradium
免责声明
本文基于 Gradium 官方发布文章、技术博客与第三方媒体报道整理,仅用于技术信息分享,不构成采购或投资建议。文中自然度评分、词错误率、首字时延与实时倍率主要来自厂商及其合作伙伴自测,测试环境与测试集各异,尚无第三方完整复现,实际表现请以自有硬件实测为准;模型许可、商用条款与音色克隆政策以 Hugging Face 模型卡和 Gradium 官方最新说明为准。
