当前位置: 首页> 汽车> 新车 > Ollama加载gguf模型

Ollama加载gguf模型

时间:2025/7/10 12:24:30来源:https://blog.csdn.net/leo0308/article/details/140878360 浏览次数: 0次

1 下载gguf模型

在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。

如 Qwen/Qwen2-0.5B-Instruct-GGUF

2 创建模型信息文件

文件格式没要求, 用简单的txt文件就行

比如建立一个my_model.txt文件, 写入以下内容:

FROM your_path/qwen2-0_5b-instruct-q2_k.gguf

3 加载模型使用

ollama create my_model -f my_model.txt

然后就可以愉快地使用了:

ollama run   my_model

注意: 如果出现了Error: invalid file magic的错误, 大概率是这个gguf文件中的某些操作ollama还不支持, 如有些特殊的量化操作等。

关键字:Ollama加载gguf模型

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: