大模型管理工具：Ollama的安装与使用
1 Ollama的背景和介绍随着人工智能技术的快速发展大型语言模型 LLM 已成为NLP领域的重要工具。然而这些模型的运行通常需要大量的计算资源和复杂的部署流程。为了解决这个问题Ollama应运而生成为了一个高效的本地大语言模型LLM运行专家。Ollama是一个开源的大型语言模型服务工具它帮助用户快速在本地运行大模型。通过简单的安装指令用户可以执行一条命令就在本地运行开源大型语言模型如Llama 2。Ollama极大地简化了部署和管理LLM的过程使得用户能够快速地在本地运行大型语言模型。2 Ollama的安装2.1 下载安装OllamaOllama主页Ollama 支持macOS, Linux 和 Windows 系统如果是macOS、Linux系统直接安装使用即可如果是Windows需要按照以下教程进行安装使用点击下载按钮获取OllamaSetup.exe安装程序。双击安装文件点击「Install」开始安装。目前的Ollama会默认安装到C盘路径如下C:\Users\%username%\AppData\Local\Programs\Ollama并不会让用户自定义选择安装路径。安装完成后会在电脑右下角出现Ollama图标可以不用先启动Ollama先退出做一些必要路径的配置右键图标会出现退出的按钮「Quit Ollama」注意一定要退出Ollama否则下边的环境配置无法生效2.2 环境配置关闭开机自启动可选Ollama 默认会随 Windows 自动启动可以在「文件资源管理器」的地址栏中访问以下路径删除其中的Ollama.lnk快捷方式文件阻止它自动启动。%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup配置环境变量必须Ollama 的默认模型存储路径如下C:\Users\%username%.ollama\models无论 C 盘空间大小需要安装多少模型都建议换一个存放路径到其它盘否则会影响电脑运行速度。打开「系统环境变量」新建一个系统变量OLLAMA_MODELS 然后设置ollama模型的存储路径。变量名OLLAMA_MODELS变量值路径D:\Work\ollama\models2.3 运行Ollama将上述更改的环境变量保存后在「开始」菜单中找到并重新启动 Ollama。找到ollama.exe的所在位置在该位置打开cmd执行指令ollama run 模型名称首次执行会从模型库中下载模型所需时间取决于你的网速和模型大小。模型库地址https://ollama.org.cn/library3 在 Python 中使用 Ollama API环境准备在开始使用 Python 与 Ollama API 交互之前请确保您的开发环境满足以下条件安装ollama库: pip install ollama代码实现方式1import ollama# 聊天式response ollama.chat(modelqwen2:1.5b,messages[{role: user, content: 为什么天空是蓝色的, }])print(response)print(response[message][content])# 生成式## response ollama.generate(modelqwen2:1.5b, prompt为什么天空是蓝色的)方式2# 可以远程调用ollamafrom ollama import Client# client Client(hosthttp://192.168.1.100:11434)client Client(hosthttp://127.0.0.1:11434)response client.chat(modelqwen2:1.5b, messages[{role: user,content: 为什么天空是蓝色的,},])print(response[message][content])方式3了解可以通过设置streamTrue启用响应流使函数调用返回一个 Python 生成器其中每个部分都是流中的一个对象。import ollamastream ollama.chat(modelqwen2:1.5b,messages[{role: user, content: 为什么天空是蓝色的}],streamTrue,)for chunk in stream:print(chunk[message][content], end, flushTrue)4 LangChain调用环境准备安装langchain库: pip install langchain安装langchain_community库: pip install langchain_community代码实现from langchain_community.llms import Ollamahostxxxportxxx #默认的端口号为11434# 如果自己本地系统有ollama服务可以省略base_urlllmOllama(base_urlfhttp://{host}:{port}, modelqwen2:1.5b,temperature0)resllm.invoke(你是谁)print(res)5 requests调用环境准备安装requests库: pip install requests代码实现hostxxxportxxxurl fhttp://{host}:{port}/api/chatmodel qwen2:1.5bheaders {Content-Type: application/json}data {model: model, #模型选择options: {temperature: 0. #为0表示不让模型自由发挥输出结果相对较固定0的话输出的结果会比较放飞自我},stream: False, #流式输出messages: [{role: system,content:你是谁}] #对话列表}responserequests.post(url,jsondata,headersheaders,timeout60)resresponse.json()print(res)
