太炸了开源 AI 语音工作室 Voicebox克隆声音、听写输入、AI Agent 开口说话全本地运行 ElevenLabs 太贵WisprFlow 只管输入不管输出这个开源项目把两家合二为一——7 个 TTS 引擎、23 种语言、声音克隆、全局听写、MCP Agent 语音输出全部本地运行隐私零泄露。 项目简介Voicebox 是一个本地优先的 AI 语音工作室——免费开源一个 App 搞定声音克隆、语音合成、全局听写和 AI Agent 语音输出。用一句话说清楚它的定位ElevenLabs语音合成 WisprFlow语音听写的免费开源替代品而且全部跑在你自己的机器上。 7 个 TTS 引擎Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro 23 种语言英语、中文、日语、阿拉伯语、印地语、斯瓦希里语…️ 声音克隆几秒钟音频就能零拷贝克隆⌨️ 全局听写任意 App 里按热键说话自动转文字粘贴 Agent 语音一行代码让 Claude Code / Cursor 用你克隆的声音说话 完全本地模型、声音数据、录音永不离开你的机器仓库已有422 个 Issue、99 个 PR社区热度非常高已上 Trendshift 榜单。 它能做什么完整的语音 I/O 闭环方向能力对标产品️ 语音→文字全局听写 Whisper STT 转写WisprFlow 文字→语音7 引擎 TTS 声音克隆ElevenLabs 闭环听写→LLM 润色→TTS 播报两者结合 Agent 语音MCP 工具调用Agent 用克隆声音说话独有7 个 TTS 引擎对比引擎语言数模型大小亮点Qwen3-TTS100.6B / 1.7B高质量多语言克隆支持 delivery 指令“说慢点”、“耳语”Qwen CustomVoice10-9 个预设声音自然语言控制语气无需参考音频LuxTTS英语~1GB VRAM轻量级48kHz 输出CPU 上 150 倍实时速度Chatterbox Multilingual23-语言覆盖最广——阿拉伯语、丹麦语、芬兰语、希腊语、希伯来语、印地语…Chatterbox Turbo英语350M快速推理支持副语言标签[laugh][sigh][gasp]HumeAI TADA101B / 3B700 秒连贯音频文本-声学双对齐Kokoro882M超小模型50 个预设声音CPU 快速推理8 种音频后处理效果基于 Spotify 的pedalboard库生成后实时预览效果说明 Pitch Shift上下最多 12 个半音️ Reverb房间大小、阻尼、干湿混合可调 Delay回声时间、反馈、混合可调 Chorus/Flanger金属感或丰满质感 Compressor动态范围压缩 Gain-40 ~ 40 dB 音量调节 High-Pass Filter切除低频 Low-Pass Filter切除高频内置 4 个预设Robotic机器人、Radio收音机、Echo Chamber回声室、Deep Voice低音。 快速上手方式一下载安装包推荐平台下载macOS (Apple Silicon)下载 DMGmacOS (Intel)下载 DMGWindows下载 MSIDockerdocker compose upLinux 暂无预编译包需从源码构建。方式二Docker 部署dockercompose up方式三本地开发gitclone https://github.com/jamiepine/voicebox.gitcdvoicebox bun run setup:devcdtauribun run tauri dev基础使用流程启动 Voicebox→ 打开 App创建声音 Profile→ 上传音频文件或直接录音几秒钟克隆完成输入文字→ 选择引擎和 Profile → 生成语音全局听写→ 在任意 App 里按住热键说话松开自动粘贴文字给 Agent 加声音→ 配置 MCPClaude Code / Cursor 就能用你的克隆声音说话 核心原理揭秘整体架构┌──────────────────────────────────────────────┐ │ Voicebox App (Tauri/Rust) │ │ │ │ ┌──────────┐ ┌──────────┐ ┌────────────┐ │ │ │ TTS 引擎 │ │ STT 引擎 │ │ 本地 LLM │ │ │ │ (7 个) │ │ (Whisper) │ │ (Qwen3) │ │ │ └──────────┘ └──────────┘ └────────────┘ │ │ │ │ ┌──────────┐ ┌──────────┐ ┌────────────┐ │ │ │ 音频效果 │ │ Stories │ │ MCP Server │ │ │ │ (8 种) │ │ Editor │ │ (REST API) │ │ │ └──────────┘ └──────────┘ └────────────┘ │ │ │ │ ┌──────────┐ ┌──────────────────────────┐ │ │ │ 全局听写 │ │ Agent 语音输出 (pill UI) │ │ │ │ (热键) │ │ (voicebox.speak) │ │ │ └──────────┘ └──────────────────────────┘ │ └──────────────────────────────────────────────┘ │ │ ▼ ▼ 任意 App 粘贴 Claude Code / Cursor (macOS 辅助功能) / Cline / Windsurf关键设计点1. 语音 I/O 闭环——一个 App 统管输入输出ElevenLabs 只管文字→语音WisprFlow 只管语音→文字。Voicebox 把两者做到一个 App 里中间还夹了一个本地 LLMQwen3做润色你说 → Whisper 转写 → LLM 去口癖/修语法 → 粘贴到任意 App ↓ Agent 回答 → voicebox.speak → TTS 合成 → 克隆的声音播放2. 副语言标签——让 AI 会笑会叹气Chatterbox Turbo 引擎支持情感标签在文字中插入即可[laugh] 你好呀 [gasp] 这也太厉害了吧 [sigh] 又是一个加班的夜晚... [cough] 不好意思清一下嗓子输入/就能打开标签插入器非常方便。注意只有 Chatterbox Turbo 引擎支持其他引擎会把这些标签当普通文字读出来。3. 无限长度生成——自动分块 交叉淡入淡出长文本自动在句子边界切分每块独立生成后交叉淡入淡出拼接可配置分块长度100 ~ 5000 字符交叉淡入淡出0 ~ 200ms最大文本50000 字符智能切分尊重缩写、中日韩标点、[标签]4. 全局听写——macOS 上的极致体验按住热键说话松开后文字自动粘贴到当前焦点输入框原子化剪贴板保存/恢复不会覆盖你的剪贴板辅助功能验证的精确粘贴不是模拟键盘输入LLM 润色自动去除嗯、“啊”、口吃和错误开始浮动 Pill 指示器recording→transcribing→refining→speaking5. MCP Agent 语音——给 AI 编程助手一个声音内置 MCP ServerClaude Code / Cursor / Cline / Windsurf 一行配置就能用# Claude Code 一键添加claude mcpaddvoicebox\--transporthttp\--urlhttp://127.0.0.1:17493/mcp\--headerX-Voicebox-Client-Id: claude-code然后在 Agent 中// 让 Agent 用你克隆的声音说话awaitvoicebox.speak({text:Deploy complete.,profile:Morgan,// 你克隆的声音名称personality:true,// 通过人格 LLM 改写后再合成});杀手级功能每个 Agent 绑定不同声音——Claude Code 用 MorganCursor 用 Scarlett不用看屏幕就知道谁在说话。6. 声音人格——不只是 TTS是角色扮演给每个声音 Profile 附加一个自由格式的人格描述“她是一个 28 岁的程序员说话简洁直接偶尔会吐槽”然后Compose随机生成一句符合人格的台词Speak in character你的输入文字经过 LLM 改写为该人格风格后再合成语音Agent 通过 MCP 也能用这个功能技术栈层级技术桌面框架Tauri (Rust)——不是 Electron原生性能前端React TypeScript Tailwind CSS后端Python (FastAPI/Uvicorn)包管理Bun (前端) uv/pip (Python)代码规范Biome (lint format)TTS 引擎Qwen3-TTS、LuxTTS、Chatterbox、HumeAI TADA、KokoroSTT 引擎OpenAI Whisper (MLX / PyTorch)本地 LLMQwen3 (0.6B / 1.7B / 4B)音频效果Spotify pedalboardAPIREST MCP ServerGPU 加速MLX (macOS) / CUDA (Windows/Linux) / ROCm (AMD) / DirectML / IPEXGPU 支持矩阵平台后端备注macOS (Apple Silicon)MLX (Metal)神经引擎加速 4-5 倍Windows/Linux (NVIDIA)PyTorch (CUDA)自动下载 CUDA 二进制Linux (AMD)PyTorch (ROCm)自动配置 HSA_OVERRIDE_GFX_VERSIONWindows (任意 GPU)DirectML通用 Windows GPU 支持Intel ArcIPEX/XPUIntel 独显加速任意平台CPU都能跑只是慢一些⚖️ 适用场景与优缺点适用场景场景说明 视频配音克隆自己的声音批量生成旁白️ 播客制作Stories Editor 多声音时间线编辑 有声书无限长度生成 多角色声音♿ 辅助技术为无法说话的人生成语音 AI Agent 开发给 Claude Code / Cursor 加语音输出 多语言内容23 种语言覆盖一键翻译配音⌨️ 语音听写任意 App 全局听写写作效率翻倍 游戏对话NPC 多角色配音人格化台词优缺点对比维度评分说明功能完整度⭐⭐⭐⭐⭐TTS STT 听写 Agent 语音一站式引擎丰富度⭐⭐⭐⭐⭐7 个 TTS Whisper STT 本地 LLM隐私保护⭐⭐⭐⭐⭐完全本地数据零外泄跨平台⭐⭐⭐⭐macOS/Windows/DockerLinux 需编译性能⭐⭐⭐⭐⭐Tauri 原生 MLX/CUDA 加速MCP 集成⭐⭐⭐⭐⭐REST API MCP ServerClaude Code 一键接入上手门槛⭐⭐⭐需要下载模型首次配置有一定门槛中文支持⭐⭐⭐⭐Chatterbox Multilingual 支持中文Qwen3-TTS 也支持优点✅ 完全免费开源MITElevenLabs WisprFlow 的平替✅ 7 个 TTS 引擎各有侧重按需切换✅ 声音克隆零拷贝几秒音频就能克隆✅ MCP 集成是杀手级功能——Agent 能开口说话✅ 全局听写体验极佳macOS 精确粘贴 LLM 润色✅ Tauri 原生性能不是 Electron 吃内存大户✅ 隐私完全本地适合企业敏感场景缺点⚠️ 首次需下载模型几个 GB有一定等待时间⚠️ Linux 暂无预编译包⚠️ 副语言标签只有 Chatterbox Turbo 支持⚠️ macOS 听写的精确粘贴依赖辅助功能权限⚠️ 422 个 Issue 说明仍在快速迭代中 总结Voicebox 是目前开源生态中最完整的 AI 语音工作室——没有之一。它把 ElevenLabsTTS和 WisprFlow听写两个付费云服务的核心能力整合到一个本地运行的免费 App 中还加上了 MCP Agent 语音输出这个独有杀手功能。核心价值完整闭环——语音输入 语音输出一个 App 管两头本地隐私——模型、声音、录音永不离开你的机器MCP 生态——让 AI 编程助手用你克隆的声音说话体验拉满7 引擎覆盖——从超小模型Kokoro 82M到高质量模型TADA 3B按需选择如果你有任何语音相关需求——配音、听写、Agent 交互、辅助技术——Voicebox 值得一试。推荐指数⭐⭐⭐⭐⭐5/5适合人群内容创作者、播客主理人、AI Agent 开发者、隐私敏感用户、辅助技术使用者 原文链接https://github.com/jamiepine/voicebox 官网https://voicebox.sh 文档https://docs.voicebox.sh标签#GitHub #开源项目 #Voicebox #AI语音 #TTS #声音克隆 #MCP #ClaudeCode #语音听写 #本地部署分类原创文章