Real-time RE-USE快速入门5分钟完成语音降噪环境搭建与首次体验【免费下载链接】Real-time_RE-USE项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Real-time_RE-USEReal-time RE-USE是一款由NVIDIA开发的实时多语言通用语音增强框架能够在单一模型中精确控制算法和计算延迟支持30种不同的延迟配置同时保持接近专用模型的性能轻松适应不同的延迟预算。它具备强大的语音降噪能力支持多种输入采样率并且具有语言无关的特性能有效提升各类语音应用的质量。 Real-time RE-USE核心优势Real-time RE-USE作为一款先进的语音增强工具具有以下显著优势强大的抗干扰能力能有效处理多种语音退化问题包括加性噪声、混响、削波、带宽限制、编解码器伪影、 packet loss和低质量麦克风等带来的影响。多采样率支持兼容8、16、22.05、24、32、44.1和48 kHz等多种输入采样率。语言无关性在不同语言环境下都能保持出色的性能。灵活的延迟配置Exit_layer可在3到12之间调节look_ahead_frames可在0到2之间设置实现不同的质量-延迟权衡。 环境准备与依赖安装在开始使用Real-time RE-USE进行语音降噪之前需要先完成环境的搭建。基础环境要求操作系统Linux硬件NVIDIA AmpereA100及以上架构的GPUPython环境依赖安装步骤如果需要带宽扩展功能需安装resampypip install resampy对于在线推理还需要安装tritonpip install triton2.3.0 快速安装与配置克隆项目仓库首先克隆Real-time RE-USE项目仓库到本地git clone https://gitcode.com/hf_mirrors/nvidia/Real-time_RE-USE cd Real-time_RE-USEMamba环境设置可选为了简化Mamba的设置可以下载预构建的Docker环境具体可参考相关文档。 首次体验语音降噪完成环境搭建后就可以开始体验Real-time RE-USE的语音降噪功能了。这里提供离线推理和在线推理两种方式。离线推理步骤准备 noisy 音频文件将需要处理的noisy语音文件放入noisy_audio/文件夹中。运行离线推理脚本执行以下命令进行离线语音增强sh offline_inference.sh该脚本会使用默认配置进行语音降噪配置文件路径为recipes/USEMamba_12x1_lr_00002_norm_05_vq_067_nfft_320_hop_160_NRIR_012_pha_0005_com_04_early_005_release_random_layer_GAN_longer_1k.yaml默认Exit_layer设为8look_ahead_frames设为0。查看增强结果增强后的语音文件将保存在offline_enhanced_audio/文件夹中。在线推理步骤如果需要进行流式推理可以参考online_inference.py和online_inference.sh。运行在线推理脚本的命令如下sh online_inference.sh同样也可以根据需求调整Exit_layer和look_ahead_frames参数来实现不同的质量-延迟权衡。⚙️ 自定义参数设置Real-time RE-USE提供了一些可自定义的参数以便用户根据实际需求进行调整。带宽扩展设置可以通过在脚本中设置BWE参数来启用带宽扩展例如--BWE 16000质量-延迟权衡调整通过修改Exit_layer3-12之间和look_ahead_frames0-2之间参数可以实现不同的质量和延迟平衡。例如在offline_inference.sh或online_inference.sh中调整这两个参数的值。 使用场景与注意事项适用场景研究人员和普通用户可以使用Real-time RE-USE来提升语音数据的质量例如ASR前端提高噪声鲁棒性TTS后端增强输出质量视频会议等实时语音通信场景注意事项该模型仅供研究和开发使用。离线推理和在线推理的输出结果应该几乎相同。在将模型集成到AI系统时需要使用特定用例的数据进行额外测试以确保安全有效的部署。通过以上简单的步骤你已经成功搭建了Real-time RE-USE语音降噪环境并完成了首次体验。希望这款强大的语音增强工具能为你的项目或应用带来帮助【免费下载链接】Real-time_RE-USE项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Real-time_RE-USE创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考