当前位置: 首页> 文旅> 美景 > 私密浏览器免费观看_一键wifi免费上网_广州aso优化_搜索指数分析

私密浏览器免费观看_一键wifi免费上网_广州aso优化_搜索指数分析

时间:2025/7/11 0:20:15来源:https://blog.csdn.net/weixin_45834800/article/details/145873451 浏览次数:0次
私密浏览器免费观看_一键wifi免费上网_广州aso优化_搜索指数分析

1. 环境安装

ubuntu20.04 

python3.10

pycharm虚拟环境

2.拉取代码

虚拟环境下安装vllm

pip install vllm

ubuntu命令窗口安装 sudo apt install git-lfs

初始化 Git LFS 安装 Git LFS 后,你需要虚拟环境命令窗口初始化它:git lfs install

拉取代码

git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

如果大文件没有拉取成功,在仓库路径下手动拉取大文件:git lfs pull

如果大文件还是没有拉取成功,直接复制后放在正确位置即可。

3、 使用 vLLM 启动推理服务

现在,我们可以使用 vLLM 启动推理服务。

 vllm serve /home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B \
>     --tensor-parallel-size 1 \
>     --max-model-len 8192 \
>     --enforce-eager \
>     --gpu-memory-utilization 0.7 \
>     --swap-space 4 \
>     --disable-log-stats
 

4、订阅服务

import requests
import json# 设置 API 服务器地址
url = "http://0.0.0.0:8000/v1/completions"# 构造请求数据
data = {"model": "/home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B","prompt": "你的身份是一个名为DeepSeek的大型语言模型,请用中文介绍一下你自己。","max_tokens": 100,"temperature": 0.1,"top_p": 0.9
}# 发送 POST 请求
response = requests.post(url, json=data)# 打印完整的返回数据
print("Full Response:", response.json())# 检查是否有生成的文本
result = response.json()
if "choices" in result and len(result["choices"]) > 0:print("Generated Text:", result["choices"][0]["text"])
else:print("Error: No text generated")

5、结果

/home/terrycao/PycharmProjects/deepseek/venv/bin/python /home/terrycao/PycharmProjects/deepseek/test.py
Full Response: {'id': 'cmpl-4e5f61fa865349df844980cdfd7d4d69', 'object': 'text_completion', 'created': 1740559537, 'model': '/home/terrycao/PycharmProjects/deepseek/DeepSeek-R1-Distill-Qwen-1.5B', 'choices': [{'index': 0, 'text': '请以简短的句子回答。\n</think>\n\n我是DeepSeek-R1,一个由深度求索公司开发的大型语言模型。我擅长通过思考来帮您解答复杂的数学,代码和逻辑推理等理工类问题。', 'logprobs': None, 'finish_reason': 'stop', 'stop_reason': None, 'prompt_logprobs': None}], 'usage': {'prompt_tokens': 17, 'total_tokens': 66, 'completion_tokens': 49, 'prompt_tokens_details': None}}
Generated Text: 请以简短的句子回答。
</think>

我是DeepSeek-R1,一个由深度求索公司开发的大型语言模型。我擅长通过思考来帮您解答复杂的数学,代码和逻辑推理等理工类问题。

Process finished with exit code 0

关键字:私密浏览器免费观看_一键wifi免费上网_广州aso优化_搜索指数分析

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: