当前位置: 首页> 财经> 股票 > 徐州便民信息网_广州海珠区好玩的地方_营销案例网站_国外网站排行

徐州便民信息网_广州海珠区好玩的地方_营销案例网站_国外网站排行

时间:2025/8/10 12:16:17来源:https://blog.csdn.net/qq_41982304/article/details/145736500 浏览次数:0次
徐州便民信息网_广州海珠区好玩的地方_营销案例网站_国外网站排行

背景:

     本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f  ds7b.mf加载模型启动后回答混乱,无法使用。

解决方法

   重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

    重新编写ds7b.mf文件,文件内容如下:

FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"

再次加载模型后启动正常

关键字:徐州便民信息网_广州海珠区好玩的地方_营销案例网站_国外网站排行

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: