多模态大模型本地部署(InternVL3_5-8B)
1.模型选型
服务器信息:NVIDIA T4 * 2 16G * 2 Driver Version: 535.154.05 CUDA Version: 12.2模型选择InternVL3_5-8B,速度非常快,毫秒级响应
2.模型下载
docker run --rm -it \--gpus all \--entrypoint /bin/bash \--pids-limit -1 \--se…
2026/7/3 5:57:53