当前位置: 首页> 教育> 大学 > 中考网络应用服务平台官网_高端建站属于外包公司么_外贸企业网站制作哪家好_湖南中高风险地区

中考网络应用服务平台官网_高端建站属于外包公司么_外贸企业网站制作哪家好_湖南中高风险地区

时间:2025/7/11 1:05:54来源:https://blog.csdn.net/hbkybkzw/article/details/146268503 浏览次数:2次
中考网络应用服务平台官网_高端建站属于外包公司么_外贸企业网站制作哪家好_湖南中高风险地区

ollama部署QwQ32B

  • QwQ32B硬件要求

    魔改2080ti 的 22G 显存差不多够用

    ollama中的是Q4_K_M量化模型

    硬件配置模型推理模型高效微调模型全量微调
    显存占用最低配置显存占用最低配置显存占用最低配置
    FP_1664GRTX3090*4(94G)92GRTX3090*4(94G)350GA100*6(480G)
    Q_4_K_M23GRTX3090(24G)31GRTX3090*2(48G)

使用命令安装 ollama

  • 官网安装命令

    curl -fsSL https://ollama.com/install.sh | sh
    

    image-20250314145555539

  • 启动 ollama

    ollama server
    

    后台启动 ollama 并将 日志写入当前文件夹的 ollama.log 文件夹下

    nohup ollama serve > ollama.log 2>&1 &
    

使用安装包下载 ollama

  • ollama github主页的安装包

    https://github.com/ollama/ollama/releases

    image-20250314220102162

    点击下载(因网络原因建议点击下载)或者使用 wegt 下载对应 系统版本的 ollama 安装包,下面使用 wget 来演示,我使用的 GPU主机是 ubuntu 的,所以使用ollama-linux-arm64.tgz,右键复制下载链接,使用 wget 下载

    wget https://github.com/ollama/ollama/releases/download/v0.6.0/ollama-linux-arm64.tgz
    
    mkdir ./ollama
    tar -zxvf ollama-linux-amd64.tgz -C ./ollama
    
    chmod +x ollama
    
  • 将 bin 目录添加到系统环境变量

    vim ~/.bashrc
    

    添加以下

    export PATH=$PATH:/root/lanyun-tmp/ollama/bin

    保存并退出后,输入如下命令来使环境变量生效:

    source ~/.bashrc
    
  • 更换 ollama 模型下载的存放地址

    vim ~/.bashrc
    

    添加如下

    export OLLAMA_MODELS=/root/lanyun-tmp/models

    保存并退出后,输入如下命令来使环境变量生效:

    source ~/.bashrc
    

    测试下

    echo $OLLAMA_MODELS
    

部署 qwq32b

  • ollama 中的 qwq32b 是自己量化的,量化显存占用大概在 22G 左右

  • 下载 qwq32b

    ollama run qwq
    

    image-20250314150622849

    等待下载完成

    image-20250314150647102

    下载完成后即进入对话

    image-20250314170717521

    可以看到大概占用了 22G显存左右

    image-20250314174113841


关键字:中考网络应用服务平台官网_高端建站属于外包公司么_外贸企业网站制作哪家好_湖南中高风险地区

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: