当前位置: 首页> 文旅> 酒店 > 本地部署大模型

本地部署大模型

时间:2025/7/10 7:36:31来源:https://blog.csdn.net/h_e_l_l_o_______/article/details/140742941 浏览次数:0次

模型排行榜:https://www.superclueai.com/


Open WebUI

https://docs.openwebui.com/
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行器,包括 Ollama 和 OpenAI 兼容的 API。
docker安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

LobeChat

https://lobehub.com/zh/docs/usage/start
LobeChat 是一个开源、高性能的聊天机器人框架,支持语音合成、多模态和可扩展的功能调用插件系统
docker安装

$ docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat

Ollama

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。
官网:https://ollama.com/
文档:https://ollama.fan/getting-started/#import-from-gguf
系统环境变量OLLAMA_MODELS,设置存放位置
命令窗口中使用ollama

# 拉取&运行模型(根据服务器配置选择模型)
ollama run qwen2:0.5b
# 查看模型列表
ollama list
# 删除模型
ollama rm qwen2:0.5b
关键字:本地部署大模型

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: