Debain-12.9使用xinference部署音频模型/audio
- 基础环境准备
- 下载模型
- 部署模型
- 注册服务
- 注册dify模型
基础环境准备
基础环境安装
下载模型
modelscope download --model 'openai-mirror/whisper-small' --local_dir 'openai-mirror/whisper-small'
部署模型
xinference launch --model-path ~/ollama/openai-mirror/whisper-small --model-name whisper-small --model-uid whisper-small --model-type audio --api-key vl-5bgrMOCJ5OSBKQV5XbHz --endpoint "http://127.0.0.1:19997"
注册服务
注册dify模型
需要先安装插件Xorbits Inference
