Skip to content

Breeze TTS 2 - 开源双语 TTS 评测

[!info] 一句话定位 Breeze TTS 2 是 BreezeBlue（RESONIA, INC.）于 2026-08-25 发布的开源权重（open-weight）中英双语语音合成模型，主打实时交互：零样本音色克隆（Voice Clone）、Prompt 声音设计（Voice Design）、解耦情绪控制（Voice Direction）三大能力，Artificial Analysis 排行榜开源权重第一。本文基于余子越Talk 的实测视频 + 官方仓库/官方博客交叉验证，覆盖硬件门槛、核心功能模组与本地/云端部署流程。

  • 适合谁读：想做有声书/短剧配音/字幕配音的内容创作者；想在本地消费级显卡跑 TTS 的开发者

目录

1. 模型背景与效能表现

发布背景

  • 2026-08-25：Breeze TTS 2 模型权重（HuggingFace BreezeBlue/breeze-tts-2）+ PyTorch 推理代码（breezeblue-ai/breeze-tts）同时发布
  • 2026-08-07：官方先发了三套评测基准（voice design / voice direction / latency benchmark）
  • 音频 tokenizer 基于 Alibaba Qwen 团队的 Qwen3-TTS（Apache 2.0）
  • 2026-09 初 BreezeBlue 宣布获 600 万美元种子轮（Redpoint China 与 Vision Plus Capital 联合领投）

榜单跑分对比

官方口径：Artificial Analysis TTS 排行榜开源权重第一，BreezeBlue 官宣领先 Fish Audio S2 Pro 90 Elo points。

模型 归属 开源/闭源 备注
Breeze TTS 2 BreezeBlue（RESONIA, INC.） open-weight open-weights #1（Artificial Analysis）
Fish Audio S2 Pro Fish Audio open-weight 落后 Breeze 90 Elo
Gemini 3.1 Flash TTS Google 闭源 榜单强对手，Elo 1211
ElevenLabs Eleven v3 ElevenLabs 闭源 音色克隆保真度业界标杆
Higgs Audio v3 TTS Boson AI open-weight ~4B Qwen3 backbone，100+ 语言
IndexTTS-2 IndexTeam open-weight 视频标题对比对象，正文无实测数据

[!warning] 标题勘误 视频标题「效果比 IndexTTS2 强」在正文、描述与榜单引用中均无实测对比数据支撑，属标题党成分；Breeze 官方口径只说 open-weights #1 + 超越部分闭源系统，未点名 IndexTTS-2。

官方性能数据（NVIDIA H100，fast path 预热后）

指标 数值 说明
TTFA（首包延迟） < 40 ms 实时对话级体验
RTF（实时因子） 0.32 约 3.1× 实时速度生成
Eager 推理显存 ~7.7 GiB 官方推荐最低 12GB GPU
--fast-all 显存 ~14.4 GiB CUDA Graph 全阶段加速，需 24GB GPU

显存机制：官方基线 vs 整合包 Offload（两版并列）

口径 显存占用 机制 来源
官方 eager 推理 ~7.7 GiB 标准 PyTorch eager 官方 README
官方 --fast-all ~14.4 GiB CUDA Graph 全阶段 官方 README
整合包 Offload 模式 实测峰值 4.6-5 GB 权重 offload 到内存，GPU 峰值压低 视频实测（RAM 18-19G 属正常）

[!note] 口径差异说明 整合包 4.6-5G 与官方 7.7 GiB 不矛盾：Offload 是整合包 WebUI 的魔改功能（官方仓库无此选项），把部分权重挪到系统内存换 GPU 余量，代价是内存占用上升、推理速度下降。官方 fast path 反而更耗显存——在官方仓库里「追求速度」与「追求低显存」互斥，整合包通过 Offload 把低显存做到了 5G 档，这是它对消费级显卡最大的价值。

2. 核心生成能力

三种控制模式对比

模式 输入 能力 典型场景
Voice Clone（音色克隆） 参考音频 + 准确文字稿 复刻音色/韵律/情绪/风格，不加 instruction 品牌配音、有声书
Voice Design（声音设计） 纯文字描述，无参考音频 从零塑造新音色（如「一位温柔自信的年轻女性…」） 虚拟角色、多音色内容
Voice Direction（情绪控制） 参考音频 + 文字稿 + 指令 锁定音色身份 + 文字指令转语气/情绪/语速/停顿 同一角色跨场景变情绪

三者都支持 inline vocal events（发声细节标记）：英文括号 (laugh) / (cough) / (clears throat) / (sigh)，中文方括号 [笑] / [咳嗽] / [清嗓子] / [叹气]，渲染为真实非语音发声而非读出文字。

官方 CLI 命令示例

Voice Clone（音色克隆）：

python infer.py ../breeze-tts-2 \
  --ref-audio reference_zh.wav \
  --ref-text "这是中文参考音频的准确文字稿。" \
  --text "[叹气] 没想到过了这么久，你还记得我的声音。" \
  --output outputs/voice_clone_zh.wav

Voice Design（声音设计，--cfg-scale 4 强化指令跟随）：

python infer.py ../breeze-tts-2 \
  --text "[笑] 欢迎来到今晚的故事时间，让我们一起开始吧。" \
  --instruction "一位温柔自信的年轻女性，声音清晰，语气亲切，表达轻快而富有感染力。" \
  --cfg-scale 4 \
  --output outputs/voice_design_zh.wav

Voice Direction（情绪控制）：

python infer.py ../breeze-tts-2 \
  --ref-audio reference.wav \
  --ref-text "This is the exact transcript of the reference audio." \
  --text "(clears throat) We need to discuss what happened last night." \
  --instruction "Speak slowly with a restrained, serious tone." \
  --cfg-scale 4 \
  --output outputs/voice_direction.wav

参考音频最佳实践

  • ✅ 干净、非循环、低底噪的人声素材
  • ✅ --ref-text 必须与参考音频的完整口播内容一致（音频里有重复就要在文字稿里保留重复）
  • ❌ 不要给 Voice Clone 加 --instruction（加了就自动切换为 Voice Direction）
  • ❌ 不要用带背景音乐/混响的素材做克隆参考

视频实测表现

  • 音色克隆：参考音频（频道主自我介绍）→ 生成全新段子文本，音色一致、语气自然
  • 声音设计：文字描述直接生成新音色，创作者主观评价「音质比 VoxCPM2 好很多」（⚠️ 主观对比，非跑分结论）
  • 情绪控制：参考音频温柔和缓 → 目标文本情绪完全相反（严肃训诫风格），输出成功转换为激昂语气——解耦能力的关键验证

3. 进阶应用工具（整合包功能）

[!note] 边界说明 多角色配音、SRT 字幕对齐、历史管理是整合包 WebUI 的功能，官方 PyTorch 推理仓库（CLI/API）没有这些模组。

功能清单

功能 能力 关键细节
多角色剧本配音 标准脚本格式输入，单次项目最高 8 位角色 每角色独立绑定已克隆音色 + 语速；音色需先在音色克隆 tab 保存
SRT 字幕配音 导入 SRT 批量合成 自动校验时间轴：说得快补静音、超时智慧加速；实测输出 380.67 秒与字幕时间轴完全一致
生成历史管理 集中记录各 tab 的历史档案 即时试听 + 单键下载

SRT 对齐逻辑

上传 SRT → 选择音色 → 批量合成
              │
              ├─ 每句生成时长 < 字幕时长 → 补静音对齐
              ├─ 每句生成时长 > 字幕时长 → 智慧加速
              └─ 输出总时长 = 字幕时间轴（实测 380.67s 完全一致）

多角色配音流程

音色克隆 tab 保存音色 → 输入配音脚本（角色名：台词 格式）
→ 角色面板绑定音色（角色 1-8）+ 调整语速 → 生成

4. 部署与操作指引

三条部署路径对比

路径 门槛 适合
整合包（Windows） 解压 ~8.2 GB + 双击启动.bat，WebUI 127.0.0.1:9000，Offload 5G 显存 显存有限的创作者，开箱即用
官方源码（Linux） Python 3.10+，NVIDIA GPU（eager 7.7 GiB / 12GB 起） 开发者、二次开发、API 服务
云端镜像（Compshare） 注册 + 一键部署，Web UI 端口直达 无本地 GPU

本地整合包流程（视频实测）

下载整合包（~8.2 GB）→ 7zip 解压到当前位置
→ 进入目录双击 启动.bat
→ 出现 127.0.0.1:9000 自动开浏览器（打不开就手动复制地址）
→ 模型配置勾选「启用 offload 低显存模式」→ 生成时峰值 4.6-5 GB

官方源码部署（完整命令）

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts
python -m pip install -r requirements.txt

# 可选：构建测试过的 CUDA Docker 镜像（默认 H100/Hopper sm90）
bash docker/build.sh
# A100 需先设架构
FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh

# 流式 API（默认 eager，单并发，mono 24kHz PCM）
python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860

云端部署流程

打开视频下方 Compshare 镜像链接 → 注册
→ 使用该镜像创建实例 → 立即部署
→ 实例状态变「运行中」→ 点击 Web UI 端口按钮 → 进入生成页面

部署路径决策树

有 NVIDIA GPU（≥12GB）？
  ├─ 是 → 要二次开发/API 集成？
  │        ├─ 是 → 官方源码部署（eager 7.7 GiB 或 --fast-all 14.4 GiB）
  │        └─ 否 → 显存紧张（<8GB）？
  │                 ├─ 是 → 整合包 + Offload（5G 档）
  │                 └─ 否 → 整合包 或 官方源码均可
  └─ 否 → 云端镜像一键部署（Compshare）

5. 验证与勘误记录

视频声称 验证结果 来源
「8月25号发布」 ✅ 2026-08-25 发布权重 + 推理代码 官方 News
「官方接触了一个跑分的排行榜」 ⚠️ ASR 错字，实为「接入/接受」；排行榜 = Artificial Analysis TTS BreezeBlue X
「跑分远超 ElevenLabs V3、Gemini Flash TTS、Fish Audio」 ✅ 基本准确：open-weights #1，领先 Fish Audio S2 Pro 90 Elo；「超越闭源」仅部分系统 官方 X + README
标题「效果比 IndexTTS2 强」 ⚠️ 正文无 IndexTTS2 实测对比数据，标题党 全文比对
「整合包优化以后 5G 的显存就可以跑」「最多用到 4.6G」 ⚠️ 与官方基线不同口径：官方 eager ~7.7 GiB / 12GB 起；整合包 Offload 实测 4.6-5G 峰值（魔改功能，官方仓库无此选项） 官方 README vs 视频实测
「8.24个g」整合包 ⚠️ 口播值，约 8.2 GB（整合包非公开分发，无法精确验证） 视频实测
「Gemini 3.1 Flash TTS」 ✅ 真实存在（Google 官方发布，Elo 1211） blog.google
「Elevenlaps 的 V3」 ⚠️ ASR 错字，实为 ElevenLabs Eleven v3 官方
「fish Audio s2 pro」「Higgs Audio V3」 ✅ 均真实存在（Fish Audio S2 Pro；Boson AI Higgs Audio v3 TTS，~4B，100+ 语言）。⚠️ 两者权重均为 Non-Commercial 授权，「开源」≠可商用 LMSYS / vLLM recipes
「比 VOXCPM2 效果要好很多」 ✅ VoxCPM2 真实存在（OpenBMB，2B 参数，30 语言，48kHz，Apache-2.0 可商用）；音质对比为创作者主观评价 OpenBMB GitHub
「支持 8 位角色」「SRT 字幕配音」「配音历史」 ✅ 视频实测可用；⚠️ 属整合包 WebUI 功能，官方仓库无此模组 视频实测
「127.0.0.1:9000」 ✅ 整合包 WebUI 端口；官方 API 默认 7860（不一致是整合包与官方的区别，非误差） 视频实测 + 官方 README
授权合规提醒（「若包含非商业条款需确认」） ✅ 已确认：代码 Apache 2.0，但模型权重 = BreezeBlue Research and Non-Commercial License，商用需 RESONIA, INC. 书面授权；付费订阅只覆盖托管平台输出，不覆盖自托管 官方 README

参考资料

相关笔记

（暂无——vault 内首篇 TTS 主题笔记）

文档生成时间：2026-09-17 基于 Breeze TTS 2（2026-08-25 发布）+ 余子越Talk 实测视频（2026-09-16）