前言
前面记录了llama-factorry微调大模型的各种参数，现在记录一下基于ollama部署llama-factory微调模型的两种方法，如果没有嫌麻烦的话可以直接看第二种方法,快速部署。
1 方法1，使用llama-cpp
1.1 下载llama-cpp
conda create -n llama-cpp python=3.10
conda activate llama-cpp
git clone https://github.com/ggml-org/llama.cpp.git
pip install -r requirements.txt
如下图所示，git下来之后是这个样子的：
1.2 转换模型到guff
cd llama.cpp
python convert_hf_to_gguf.py --outfile xxx/xxx/model.gguf E:\PyPro\chatbot\LLaMA-Factory\saves\Qwen2.5-0.5B\full\chatbot1024_e5v4
如下图所示，转化出来的模型是这个样子的：
1.3 编写Modelfile
在你的模型同级目录下编写Modelfile，如下图所示：
里面的内容为：
FROM ./chatbot.ggufPARAMETER num_ctx 1024
PARAMETER temperature 0.95
PARAMETER top_p 0.7TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
这里chatbotdy可以改成你的模型名称。
其中Modefile的可选参数有：
具体详细解释可以看这里：链接
这里重点记录一下TEMPLATE
先去llama-factory官网去看你的模板是什么：
如上图所示，我用的是qwen2.5模板为qwen，然后去ollama官网去找相应模型的TEMPLATE：
点开之后是这样：
将其复制下来即可。
1.4 加载进ollama
ollama这里就不赘述，如果不知道怎么安装的，可以看我以前的文章：Windows| DeepSeek最简单的本地部署方法
这里直接敲命令：
# 也可以直接在上述目录中直接cmd进入目录
cd path_to_ggufpath
ollama create chatbot -f ./Modelfile
这里chatbot为你的模型名称。
如下图所示，这样就算成功添加模型到ollama：
如果不想要了，可以删除模型：
ollama rm model_name
2 方法2，使用Llama-Factory(推荐)
2.1 打开webui
llamafactory-cli webui
2.2 使用webui的Export功能
2.3 使用ollama加载模型
进入导出目录直接cmd进入中断命令行界面，然后输入一下命令：
# chatbot_e5为你给模型起的名字
ollama create chatbot_e5 -f ./Modelfile
如图所示：
总结
本文介绍了如何将llama-factory微调后的大模型通过ollama部署的两种方法，第一种方法有模型兼容问题，具体可以去官网查看兼容哪种模型，所以推荐第二种方法。
