当前位置: 首页> 教育> 锐评 > 24小时在线客服_湖南衡阳今日疫情_百度图片识别在线识图_在百度上怎么打广告

24小时在线客服_湖南衡阳今日疫情_百度图片识别在线识图_在百度上怎么打广告

时间:2025/7/13 15:10:06来源:https://blog.csdn.net/sinat_36050376/article/details/143699634 浏览次数:2次
24小时在线客服_湖南衡阳今日疫情_百度图片识别在线识图_在百度上怎么打广告

本篇介绍如何在服务器上实现SD3.5模型的加载及推理,不包含训练及微调。

磁盘扩容

autodl服务器在关机状态下,进行扩容:
在这里插入图片描述

选择要扩容的大小(比如我这里已经扩了80G,默认有50G免费的),就会有一个计费出来:
在这里插入图片描述
扩容完成后配置开机就会自动生效,类似地也可以选择“升级配置”扩卡(如果有需要的话)。

下载模型

下载模型这里,折腾了挺久,还是选择国内源最便捷。魔塔社区有点像HF的意思。
可以使用SDK,或者git clone,也可以选择使用modelscope命令下载(建议用1、3方式下载,可以断点续传)

# 安装modelscope
pip install modelscope# 下载repo到指定路径
modelscope download --model AI-ModelScope/stable-diffusion-3.5-large --local_dir ./stable-diffusion-3.5-large

默认下载到系统盘路径/root/.cache/modelscope/hub/AI-ModelScope/stable-diffusion-3.5-large,这里需要指定到数据盘路径(虽然它的日志给出了误导人的提示)。

开始推理

使用离线模型文件,修改后的推理脚本:

import torch
from diffusers import StableDiffusion3Pipelinemodel_path = "stable-diffusion-3.5-large"
pipe = StableDiffusion3Pipeline.from_pretrained(model_path, torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()image = pipe(prompt="a photo of a cat holding a sign that says hello world",negative_prompt="",num_inference_steps=40,height=1024,width=1024,guidance_scale=4.5,
).images[0]image.save("sd3_hello_world-1.png")

有一个问题是官方给的代码是使用pipe.to("cuda")全让GPU干了,但是实测下来一块4090依然扛不住,所以改为代码里的pipe.enable_model_cpu_offload()让CPU也一起来分担。这样就可以完美完成推理。

系统监控(非必须)

安装监控所需要的包:

apt install net-tools
apt install vnstat
apt install sysstat

sar -n DEV 5 10:每5s执行一次,一共执行十次

root@autodl-container-da9843af01-9a6b176e:~/autodl-tmp/stable-diffusion-3.5-large# sar -n DEV 5 10
Linux 5.15.0-94-generic (autodl-container-da9843af01-9a6b176e) 	11/12/24 	_x86_64_  (192 CPU)06:43:45        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
06:43:50           lo      0.80      0.80      0.07      0.07      0.00      0.00      0.00      0.00
06:43:50         eth0  13095.20   5037.80  24062.36    443.36      0.00      0.00      0.00      1.9706:43:50        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
06:43:55           lo      0.40      0.40      0.13      0.13      0.00      0.00      0.00      0.00
06:43:55         eth0  13445.51   4715.57  24038.59    419.16      0.00      0.00      0.00      1.97

我这里只是想测一下实际下载过程中的网络情况。
当然autodl也提供了监控选项:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

拓展资料:modelscope 的使用手册

关键字:24小时在线客服_湖南衡阳今日疫情_百度图片识别在线识图_在百度上怎么打广告

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: