Neutone SDK 使用教程Neutone FX 与 Neutone Gen 插件下载、加载本地模型全流程详解【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdkNeutone SDK 是一个开源的 Python 框架能把你用 PyTorch 训练的神经网络音频模型快速打包运行在 DAW数字音频工作站中。配合两个免费宿主插件Neutone FX实时音频效果和Neutone Gen非实时音频生成Beta 版即使不会写一行 C新手也能在一天内把自己的音频 AI 模型装进 FL Studio、Logic Pro 等 DAW 里使用。本教程带你完整走通安装 SDK → 下载插件 → 加载本地 .nm 模型 → 性能测试 的全流程。为什么选择 Neutone SDK传统上做一个 DAW 插件需要掌握 C 和 JUCE 框架对 AI 音频研究者来说门槛很高。Neutone SDK 把常见难题全部封装好了SDK 自动处理的问题说明可变缓冲区大小模型只需支持固定的 (采样率, 缓冲区) 组合DAW 端任意设置都能跑采样率转换运行时自动重采样无需手动处理延迟补偿通过calc_model_delay_samples声明延迟湿/干信号自动对齐参数控制插件界面上最多 4 个旋钮实时传入模型 项目定位为模型无关的统一接口核心源码入口在neutone_sdk/core.py与neutone_sdk/wavform_to_wavform.py。一键安装 Neutone SDK安装极其简单只需 Python 3.8 和一条 pip 命令pip install neutone_sdk它会自动带上 PyTorch、torchaudio、numpy 等依赖依赖清单见 pyproject.toml此处仅为项目内文件说明非外部链接。装完即可用无需编译任何 C 代码。下载 Neutone FX 与 Neutone Gen 插件两个插件均免费按需求选择Neutone FX实时模型提供VST3和AU两种格式安装后即可在 DAW 中加载.nm模型内置模型库除了加载自己的本地模型还能直接使用社区提交的现成效果模型如神经失真、混响仿真等下载入口访问 Neutone 官网 FX 页面neutone.ai/fx详见项目 README.md 中的 Downloading the Plugin 章节Neutone Gen非实时模型Beta支持macOS ARM.dmg和Windows.exe 安装包适合样本生成、音频重建、分离等非实时任务官方预打包了多个可直接下载的.nm模型例如 LoopGANEDM-HSE 数据集版、Stable Audio Open Small、HT Demucs 四轨分离模型下载地址同样列在 README.md 中加载本地模型.nm 文件怎么用这是新手最常卡住的一步流程其实只有三步第 1 步把 PyTorch 模型包成 Wrapper实时模型继承WaveformToWaveformBase只需实现do_forward_pass方法非实时模型继承NonRealtimeBase定义输入/输出声道、是否 one-shot 等最小可运行的官方示例FX 剪波器示例examples/neutone_fx/example_clipper.pyGen 剪波器示例examples/neutone_gen/example_clipper.py文本转音频MusicGen示例examples/neutone_gen/example_musicgen_load.py展示了如何在 Gen 插件中使用 tokenizer 处理文本参数第 2 步导出为 .nm 文件调用save_neutone_model函数位于neutone_sdk/utils.py。它会自动把模型转成 TorchScript跑一系列自动测试确认模型行为符合插件要求生成最终的model.nm文件第 3 步在插件中加载Neutone FX在插件界面点击load your own按钮选择你的.nm文件即可Neutone GenBeta目前没有模型商店功能直接从插件 UI 打开models文件夹把.nm文件丢进去就能加载⚠️ 小提示导出后建议在 DAW 里听一下延迟是否对齐——如果湿信号模型输出和干信号不同步检查你的calc_model_delay_samples是否报对了延迟采样数。插件界面上能调什么两个插件都支持最多4 个旋钮参数在 SDK 里用NeutoneParameter系列定义见neutone_sdk/parameter.py参数类型用途Continuous连续0~1 之间的浮点旋钮如增益、阈值Categorical离散有限个档位选项Text文本仅 Gen 插件输入文本提示词如 MusicGen 的歌词/描述Tokens词元仅 Gen 插件经 tokenizer 编码后的词元序列参数值统一以 0~1 范围传入do_forward_pass你可以在方法内做任意映射。性能测试确保模型能实时跑SDK 内置 3 个命令行工具源码neutone_sdk/benchmark.py导出模型前强烈建议先跑一遍速度基准测试—— 模拟常见 DAW 的 (采样率, 缓冲区) 组合输出 1/RTF 值。该值必须大于 1模型才能在你的电脑上实时运行python -m neutone_sdk.benchmark benchmark-speed --model_file model.nm延迟基准测试—— 查看不同 DAW 设置下的总延迟缓冲延迟 模型延迟python -m neutone_sdk.benchmark benchmark-latency model.nm性能剖析—— 基于 PyTorch Profiler 输出 CPU 时间和内存占用帮你定位模型瓶颈python -m neutone_sdk.benchmark profile --model_file model.nm新手常见问题FAQQ1我的电脑配置低模型跑不了实时怎么办先跑benchmark-speed看 1/RTF大于 1 才能实时。可尝试减小模型、用缓存卷积neutone_sdk/conv.py提供 CachedConv或指定更小的原生缓冲区。Q2Mac M 系列芯片支持吗目前 SDK 不支持 M1 加速见 README.md 的 Known issues 章节Gen 插件本身提供 macOS ARM 安装包但推理仍走 CPU。Q3想把模型提交给社区需要补充元数据模型名、作者、描述、标签、引用等方法定义可参考examples/neutone_fx/example_overdrive-random.py提交方式见 README 的 Submitting models 章节。Q4想要完整源码可以克隆仓库git clone https://gitcode.com/gh_mirrors/ne/neutone_sdk克隆后重点看examples/目录下的 10 个完整示例从最简单的example_clipper.py起步是最快的上手路径。总结你的需求用哪个核心入口文件实时效果失真、混响、音色转换Neutone FXexamples/neutone_fx/example_clipper.py样本生成、音频分离、文本转音频Neutone Genexamples/neutone_gen/example_musicgen_load.py打包导出 .nm 模型SDK 导出函数neutone_sdk/utils.py性能调优基准测试工具neutone_sdk/benchmark.pyNeutone SDK 把从 PyTorch 模型到 DAW 插件这条链路上的脏活累活全部干了你只需要关心模型算法本身剩下的缓冲区、采样率、延迟、参数都由框架自动处理。按照本教程走完一遍你的第一个神经音频插件今天就能跑起来 【免费下载链接】neutone_sdkJoin the community on Discord for more discussions around Neutone! https://discord.gg/VHSMzb8Wqp项目地址: https://gitcode.com/gh_mirrors/ne/neutone_sdk创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考