Chatterbox：Resemble AI 开源的尖端文本转语音模型家族

你是否曾经为寻找一个既强大、易用，又能生成逼真、富有表现力语音的开源TTS工具而烦恼？Chatterbox的出现，旨在彻底解决这个问题。它是一个由Resemble AI开源的三款最先进的文本转语音模型家族，可以帮助开发者和创作者轻松实现高质量的零样本语音克隆、多语言合成以及低延迟的语音交互。

截至收录：
Chatterbox项目stars数：21639
Chatterbox项目forks数：2816

Chatterbox项目目录截图

Chatterbox项目核心亮点

• ⚡ 极致高效与低延迟：全新的Turbo模型采用精简的350M参数架构，并蒸馏了语音解码器，将生成步骤从10步减少到1步，显著降低了计算和显存需求，专为零延迟语音代理而生。
• 🗣️ 逼真的副语言标签：Turbo模型原生支持 [cough]、[laugh]、[chuckle] 等标签，允许在文本中直接嵌入咳嗽、笑声等非语言元素，为生成的语音注入独特的真实感和表现力。
• 🌍 强大的多语言支持：Multilingual模型支持包括中文、英语、法语、日语等在内的23种以上语言，能够进行零样本语音克隆，是全球化应用和本地化内容的理想选择。
• 🎨 丰富的创意控制：基础Chatterbox模型提供分类器自由引导（CFG）和夸张度（exaggeration）等高级调参功能，让开发者可以精细控制语音的情感、节奏和风格，满足创意工作流需求。

Chatterbox项目快速开始

只需几步，你就能用Python生成第一段语音：
1. 安装：
bash
pip install chatterbox-tts

1. 运行你的第一个TTS脚本（以Turbo模型为例）：
   “`python
   import torchaudio as ta
   from chatterbox.tts_turbo import ChatterboxTurboTTS

   加载模型到GPU

   model = ChatterboxTurboTTS.from_pretrained(device=”cuda”)

   准备带副语言标签的文本和参考音频（用于克隆声音）

   text = “Hi there, Sarah here from MochaFone calling you back [chuckle], have you got one minute to chat?”
   wav = model.generate(text, audio_prompt_path=”your_10s_ref_clip.wav”)

   保存生成的音频

   ta.save(“output.wav”, wav, model.sr)
   “`

Chatterbox项目应用场景

• 智能语音代理与客服：利用Turbo模型的低延迟特性，为聊天机器人、虚拟助手或交互式语音应答系统生成自然、实时的语音反馈。
• 内容创作与媒体制作：视频创作者、播客制作者或游戏开发者可以使用它，快速为角色配音、生成旁白，或通过多语言模型为内容进行本地化配音。
• 有声读物与教育工具：将电子书、学习资料或技术文档转换为多种语言、多种音色的高质量语音，提升可访问性和学习体验。
• 研究与开发：AI研究人员和开发者可以基于这个开源SOTA模型进行实验、微调，或将其作为语音合成管线的基础组件。

Chatterbox项目链接

resemble-ai / chatterbox项目地址：https://github.com/resemble-ai/chatterbox

本文地址：https://www.tgoos.com/43769