tiny-voca开源450万参数TTS：CPU实时70倍并支持浏览器

摘要：开发者 n4ze3m 发布 tiny-voca，一款仅 453.7 万参数、18 MB 的英文端到端语音合成模型，代码、权重、训练配方和数据集均已开放。其关键设计是取消重型神经声码器，以轻量源—滤波器模型直接生成 24 kHz 波形，并配合自研音素化器，在 4 个 CPU 线程上达到约 70 倍实时速度，支持 PyTorch、ONNX 与浏览器本地推理。该项目适合边缘设备、离线朗读和轻量应用，但目前仅支持英语及两种固定声音，训练数据又来自 Qwen3-TTS 合成语音，名称发音、自然度和声音多样性仍有明显限制。

---

tiny-voca 用 453.7 万参数把端到端语音合成压到浏览器

tiny-voca 是一个完全开放的轻量英文 TTS 项目：模型共 4,537,291 个参数、权重文件约 18 MB，包含波形生成部分，而非只发布声学模型或外部声码器。项目提供代码、权重、训练配方、数据集和自研音素化器，可在 PyTorch、ONNX 及浏览器中运行，生成的音频采样率为 24 kHz。

开发者报告，在 4 个 CPU 线程上，其合成速度约为实时速度的 70 倍。项目从零训练仅耗时 7.7 小时，使用单张 RTX 4090；相比依赖大型神经声码器的主流语音模型，这套方案把部署门槛压缩到了普通浏览器、普通 CPU 和小型嵌入式设备可触及的量级。

架构关键：不用神经声码器

tiny-voca 的核心并不是把一个大型 TTS 蒸馏成小模型，而是改变波形生成路径。系统采用小型 source-filter synthesizer（源—滤波器合成器） 直接产生音频，不让神经声码器再处理高分辨率声学特征。

这一取舍减少了几类常见成本：

• 不需要生成大块频谱图或离散声学 token；
• 不需要运行占据主要推理耗时的神经声码器；
• 不必分配与高采样率、长时间序列相关的大规模中间张量；
• 模型权重、浏览器下载量和服务端内存压力同步下降。

从工程角度看，70 倍实时并不代表同等质量下击败大型神经 TTS。它反映的是一种明显的 质量—速度—资源 折中：用较传统、可解释的信号合成机制换取极低延迟和部署便利。项目目前听感仍有明显合成痕迹，这符合其源—滤波器路线的预期。

输入链路与发音处理

项目使用自定义音素化器 dizione，将文本先转换为音素表示，再交给声学模型生成波形。音素化是 tiny-voca 轻量化的另一关键环节：如果直接把字符或子词 Token 送入模型，模型不仅要学习拼写到发音的映射，还需承担开放词汇、多音字和专有名词归一化负担。

不过，自定义音素化器并没有消除英文文本规范化难题。开发者明确指出，外国姓名和异常拼写仍经常被误读。这通常意味着数字、日期、单位、缩写和专有名词需要额外的前端规则或词典覆盖。工程接入时，不应直接把任意用户文本送入模型，而应先补齐文本正规化，并针对业务词表增加发音覆盖。

训练数据带来的质量上限

tiny-voca 的训练音频也是合成数据，由 Qwen3-TTS 生成。这是一项关键限制：声学模型的上限受训练语音质量约束，上游 TTS 产生的机械感、韵律缺陷和发音错误都可能进入数据集，再被 tiny-voca 学习或复制。

这也解释了为什么项目在速度、尺寸和开放程度上极具吸引力，却仍被作者评价为“有点合成”。7.7 小时单卡训练适合快速实验和低成本复现，但 4.5M 参数模型自身难以完全修复低质量监督信号。若目标是接近真人录音的自然度，更高质量的真实录音、说话人多样性和严格的训练集清洗仍是必要条件。

性能数据应如何解读

“70 倍实时”意味着生成 1 秒音频所需的计算时间约为实时窗口的 1/70。这对于交互式朗读非常充足，但当前信息仍不足以支持横向比较：

• 未披露测试文本长度、批处理方式及是否包含分页或音频编码时间；
• 未说明 RTF 统计采用平均值、峰值还是单次测量；
• 未给出 PyTorch、ONNX 与浏览器三种后端之间的延迟差异；
• 未提供首包延迟、内存峰值、CPU 型号和线程配置；
• 未提供与神经声码器 TFS、FastSpeech 类模型或大型生成式 TTS 的同硬件对照。

因此，70 倍实时更适合被理解为 特定轻量架构在作者测试环境下的可行性信号，而不是通用性能排名。

工程权衡

优势

• 部署极轻：18 MB 权重适合浏览器、移动端、边缘盒和离线工具。
• 隐私友好：浏览器演示在本地完成推理，文本无需发送到服务器。
• 训练与复现成本低：单张 RTX 4090、7.7 小时即可从零训练。
• 开放程度完整：代码、权重、数据和配方同时开放，减少复现实验的拼装工作。
• 推理路径短：取消神经声码器后，CPU 实时性显著改善。

代价

• 仅支持英语和两个固定声音，不支持声音克隆。
• 人名、专有词和不规则拼写容易误读。
• 合成音质、自然度和韵律仍有提升空间。
• 训练集为 Qwen3-TTS 合成语音，存在明显的教师模型质量上限。
• 450 万参数模型对复杂韵律、多说话人和长文本稳定性的承载能力有限。

开发者落地建议

tiny-voca 更适合作为 离线朗读、无障碍输出、嵌入式提示音、浏览器语音工具或模型教学样例，而不是直接替代高自然度商业 TTS。

实际集成时建议先完成三类测试：

1. 文本正规化测试：覆盖数字、日期、单位、缩写、人名和多音词；
2. 长句稳定性测试：观察长文本是否出现音素漂移、重复、截断或异常停顿；
3. 后端一致性测试：分别比较 PyTorch、ONNX 和浏览器输出，确认跨运行时是否存在波形或采样率差异。

若业务需要更高音质，可在 tiny-voca 生成的音素或时长信息之后接入更昂贵的神经声码器，形成“两阶段”管线；代价是实时速度和部署轻量性都会明显下降。更现实的路线是以 tiny-voca 作为基线，针对业务文本规则、真实录音和说话人数据重新微调，而不是期待 4.5M 参数模型直接覆盖通用 TTS 场景。

---

消息来源：Reddit r/LocalLLaMA (2026-11-14)

—— 完 ——

主题标签： #tiny-voca 关注 #轻量TTS 关注 #端到端语音合成 关注 #源—滤波器合成 关注 #浏览器推理 关注