当前位置: 首页> 汽车> 时评 > 德国购物网站大全_浙江省建筑信息港_网络宣传推广方法_极速一区二区三区精品

德国购物网站大全_浙江省建筑信息港_网络宣传推广方法_极速一区二区三区精品

时间:2025/7/10 16:58:18来源:https://blog.csdn.net/applebomb/article/details/147015346 浏览次数: 0次
德国购物网站大全_浙江省建筑信息港_网络宣传推广方法_极速一区二区三区精品

看到网上有的vllm写法,需要额外建立一个.sh文件,还是不够简捷。这里提供一种直接编写service文件一步到位的写法:

vi /etc/systemd/system/vllm.service

[Unit]
Description=vLLM Service
After=network.target[Service]
Type=simple
User=root
WorkingDirectory=/data/llm
ExecStart=/bin/bash -c "source /root/miniconda3/bin/activate cosyvoice && exec python -m vllm.entrypoints.openai.api_server --model /data/llm/Qwen_QwQ-32B-Q5_K_S.gguf --served-model-name qwen-qwq-q5 --max-model-len 10240 --port 8081 --tensor-parallel-size 2 --dtype half --swap-space 4 --max-num-batched-tokens 25600"
Restart=always
Environment="PATH=/usr/bin:/usr/local/bin"
Environment="PYTHONUNBUFFERED=1"[Install]
WantedBy=multi-user.target

我的是使用minicoda3安装在默认路径的,因此激活文件是/root/miniconda3/bin/activate

几个参数修改点:
/data/llm:这个是运行目录,我是直接指定了GGUF目录

cosyvoice:这个是conda的环境名,你的vllm装在哪个环境,就指定为哪个环境

/data/llm/Qwen_QwQ-32B-Q5_K_S.gguf:这个是你的模型文件位置

qwen-qwq-q5:这个是安装后OPENAI的服务模型名称

tensor-parallel-size 2:这里是指定在2个显卡上运行,由于我的环境是双卡,因此启用了张量并行

以上参数调整完后:

更新服务:
systemctl daemon-reload
设置自启动:
systemctl enable vllm

启动服务:
systemctl start vllm.service

查看服务启动日志(VLLM启动很慢,因此有需要查看日志):
sudo journalctl -u vllm --since "5 minute ago"

关键字:德国购物网站大全_浙江省建筑信息港_网络宣传推广方法_极速一区二区三区精品

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: