构建本地语音助手：Speech To Speech 开源项目深度解析
构建本地语音助手Speech To Speech 开源项目深度解析【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/gh_mirrors/sp/speech-to-speechSpeech To Speech 是一个开源的低延迟、模块化语音代理流水线项目它通过 VAD语音活动检测→ STT语音转文本→ LLM大语言模型→ TTS文本转语音的四阶段架构实现了端到端的语音对话系统。该项目已作为数千台 Reachy Mini 机器人的对话后端投入生产使用。为什么选择 Speech To Speech三大核心优势1. 完全模块化与组件可替换性 Speech To Speech 的最大亮点在于其完全解耦的架构设计。每个组件VAD、STT、LLM、TTS都是独立的模块支持热插拔。例如你可以使用 Silero VAD v5 进行语音活动检测选择 Parakeet TDT、Whisper 或 Paraformer 进行语音识别连接本地 Transformers 模型、MLX-LM 或任何 OpenAI 兼容的 API 作为语言模型搭配 Qwen3-TTS、Kokoro-82M、Pocket TTS 等多种语音合成方案这种设计让开发者能够根据具体需求灵活组合组件构建最适合自己场景的语音助手。2. 原生支持 OpenAI Realtime 协议 项目提供了与 OpenAI Realtime API 完全兼容的 WebSocket 接口/v1/realtime这意味着任何支持 OpenAI Realtime 协议的客户端都能无缝连接。你可以将现有的 OpenAI 客户端从云端服务切换到本地部署仅需修改base_url参数从云端 OpenAI 切换到自托管 Speech To Speech 服务器的端点配置对比3. 多平台与多语言支持 无论是 CUDA GPU、CPU 还是 Apple SiliconMPS项目都提供了优化的运行方案。通过--local_mac_optimal_settings参数可以在 macOS 上自动配置最佳设置。多语言支持覆盖英语、中文等主流语言并支持自动语言检测。核心架构解析四阶段流水线设计VAD 阶段精准的语音边界检测项目采用 Silero VAD v5 进行语音活动检测支持可配置的阈值参数--thresh: 触发语音检测的阈值--min_speech_ms: 最小语音持续时间--min_silence_ms: 最小静音间隔相关代码位于src/speech_to_speech/VAD/vad_handler.py实现了高效的声音片段分割算法。STT 阶段灵活的语音识别选项STT 模块支持多种后端各有特色Parakeet TDT默认NVIDIA 出品支持 25 种欧洲语言Whisper 系列包括 Faster Whisper 和 MLX Audio WhisperParaformer通过 FunASR 实现中文识别效果优秀每个 STT 处理器都继承自base_stt_handler.py中的基类确保统一的接口规范。LLM 阶段本地与云端灵活切换语言模型层提供了三种主要接入方式本地推理使用 Transformers 或 MLX-LM 在本地运行自托管服务器连接 vLLM 或 llama.cpp 服务云服务 API兼容 OpenAI、Hugging Face Inference Providers 等深色主题下的客户端配置展示了从云端到本地的平滑迁移TTS 阶段高质量的语音合成TTS 模块支持多种先进的语音合成模型Qwen3-TTS默认多语言支持GGML 或 MLX 后端Kokoro-82M轻量级高质量合成Pocket TTS支持语音克隆功能ChatTTS中英文混合对话优化快速上手5分钟搭建本地语音助手基础安装与运行# 安装核心包 pip install speech-to-speech # 设置 API 密钥如使用 OpenAI 服务 export OPENAI_API_KEYyour_key_here # 启动服务 speech-to-speech默认配置会启动一个 OpenAI Realtime 兼容服务器在ws://localhost:8765/v1/realtime使用 Parakeet TDT 进行本地语音识别OpenAI 兼容的 LLM以及 Qwen3-TTS 进行本地语音输出。本地测试对话# 在另一个终端中运行 python scripts/listen_and_play_realtime.py --host 127.0.0.1 --port 8765完全本地化部署如果你希望完全在本地运行可以使用 llama.cpp 服务 Gemma 4# 终端1启动 llama.cpp 服务器 llama-server -hf ggml-org/gemma-4-E4B-it-GGUF -np 2 -c 65536 -fa on --swa-full # 终端2连接本地 LLM 服务器 speech-to-speech \ --model_name ggml-org/gemma-4-E4B-it-GGUF \ --responses_api_base_url http://127.0.0.1:8080/v1 \ --responses_api_api_key 高级配置定制化你的语音助手运行模式选择项目支持四种运行模式适应不同场景模式传输协议适用场景realtime默认WebSocketOpenAI Realtime 协议构建符合标准语音 API 的应用或设备local本地麦克风和扬声器直接与流水线对话无需客户端websocket原始 PCM over WebSocket需要自定义客户端无需完整 Realtime 协议socket原始 PCM over TCP模型运行在远程服务器使用简单的麦克风/播放客户端多语言配置通过--language auto启用自动语言检测或指定特定语言代码# 自动检测语言 speech-to-speech --stt parakeet-tdt --language auto # 指定中文识别 speech-to-speech --stt whisper-mlx --stt_model_name large-v3 --language zh工具调用功能项目支持完整的工具调用功能无论是本地 LLM 还是 API 后端。工具定义通过session.update事件传递支持复杂的函数参数验证和结果处理。具体实现位于src/speech_to_speech/LLM/tool_call/目录。最佳实践与性能优化延迟优化策略选择合适的 STT 模型Parakeet TDT 在延迟和准确性间提供良好平衡LLM 选择较小的模型如 2-4B 参数通常提供更快的响应时间启用实时转录--enable_live_transcription提供更好的用户体验调整 VAD 参数根据环境噪声调整阈值和最小语音持续时间内存管理使用--device cuda或--device mps将计算卸载到 GPU对于内存受限的设备考虑使用量化模型调整--num_pipelines控制并发处理数量生产部署建议使用 Docker 容器化项目提供完整的 Dockerfile 和 docker-compose.yml配置负载均衡多个实例可以通过负载均衡器提供服务监控与日志内置的日志系统支持不同级别输出WebRTC 支持通过pip install speech-to-speech[webrtc]启用常见问题与解决方案Q1: 如何解决 CUDA 版本不匹配问题对于 Qwen3-TTS 的 GGML 后端如果遇到 CUDA 版本不匹配# CUDA 13.x 环境 pip install qwentts-cpp-python0.3.1cu130 \ -f https://huggingface.co/datasets/andito/qwentts-cpp-python-wheels/tree/main/whl/cu130 # CPU 回退方案 pip install qwentts-cpp-python0.3.1cpu \ -f https://huggingface.co/datasets/andito/qwentts-cpp-python-wheels/tree/main/whl/cpuQ2: 如何处理中断和抢答项目内置了完善的中断处理机制。当用户在助手说话时开始讲话系统会自动取消当前响应清空输出缓冲区开始处理新的用户输入相关实现位于src/speech_to_speech/pipeline/cancel_scope.py使用基于生成计数的取消机制确保线程安全。Q3: 如何扩展新的 STT 或 TTS 模型创建新的处理器需要继承相应的基类STT: 继承base_stt_handler.py中的BaseSTTHandlerTTS: 实现统一的接口规范在相应的__init__.py中注册处理器Q4: 性能基准测试项目提供了基准测试脚本# TTS 性能测试 python scripts/benchmark_tts.py \ --handlers qwen3 \ --iterations 3 \ --qwen3_mlx_quantizations bf16 4bit 6bit 8bit项目架构深度解析核心流水线实现主要逻辑位于src/speech_to_speech/s2s_pipeline.py实现了线程间的队列通信机制。每个组件运行在独立的线程中通过队列传递数据确保低延迟和高吞吐量。参数管理系统所有命令行参数通过src/speech_to_speech/arguments_classes/中的类进行管理支持模块化配置。例如module_arguments.py定义了运行模式、设备选择等全局参数。实时 API 实现OpenAI Realtime 兼容接口的实现位于src/speech_to_speech/api/openai_realtime/包括 WebSocket 路由器、会话管理和事件处理等核心组件。Speech To Speech 项目为开发者提供了一个强大而灵活的基础设施无论是构建智能音箱、机器人对话系统还是开发企业级语音助手都能找到合适的解决方案。其模块化设计和标准化接口使得定制化和扩展变得异常简单是开源语音技术领域的重要贡献。【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/gh_mirrors/sp/speech-to-speech创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
