当前位置: 首页> 财经> 产业 > 网站建设自助建站制作_游戏科技网站_app推广平台_网络推广哪个平台效果最好

网站建设自助建站制作_游戏科技网站_app推广平台_网络推广哪个平台效果最好

时间:2025/7/11 17:37:20来源:https://blog.csdn.net/Mooczx/article/details/143967388 浏览次数:0次
网站建设自助建站制作_游戏科技网站_app推广平台_网络推广哪个平台效果最好
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

🖥️ CPU 版本

cmake -B build_cpu
cmake --build build_cpu --config Release

🖥️ CUDA 版本

cmake -B build_cuda -DLLAMA_CUDA=ON
cmake --build build_cuda --config Release -j 12

  cmake -B build
  cmake --build build --config Release -t llama-server

量化

     1.将 safetensors 格式转成 gguf

cd ~/code/llama.cpp/build_cuda/bin

python convert-hf-to-gguf.py /mnt/workspace/Qwen2.5-7B-Instruct --outfile /mnt/workspace/Qwen2.5-7B-Instruct-GGUF/Qwen2.5-7B-Instruct-q8_0-v1.gguf --outtype q8_0

     2.将 gguf 格式进行(再)量化

cd ~/code/llama.cpp/build_cuda/bin


./quantize --allow-requantize /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q4_1-v1.gguf Q4_1

部署服务:

cd llama.cpp/build/bin

./llama-server -m /mnt/workspace/Qwen2.5-7B-Instruct-GGUF/Qwen2.5-7B-Instruct-q8_0-v1.gguf/Qwen2.5-7B-Instruct-Q8_0.gguf --port 8080

关键字:网站建设自助建站制作_游戏科技网站_app推广平台_网络推广哪个平台效果最好

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: