当前位置: 首页> 游戏> 单机 > 使用MindFormers本地部署大模型

使用MindFormers本地部署大模型

时间:2025/7/11 23:59:49来源:https://blog.csdn.net/skywalk8163/article/details/142071832 浏览次数:0次

MindSpore Transformers即时MindFormers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

安装MindFormers

直接使用pip安装

pip install mindformers

有时候训练或推理还需要源代码,那就git clone下载:

git clone https://portrait.gitee.com/huanglei_Sorry/mindformers

支持的模型如下

当前MindFormers支持的模型列表如下:

模型参数序列预训练微调推理LoRA对话评估
LLaMA27B4KgeneratePPL
13B4KgeneratePPL
70B4KgeneratePPL
LLaMA38B8K-generate--
70B8Kgenerate--
Baichuan27B4K-generatePPL
13B4K-generatePPL
GLM26B2K-generatePPL / Rouge
GLM36B2K-generate--
GLM3-32K6B32K-generate--
Qwen7B8K-docsC-Eval
14B8K-docsC-Eval
Qwen1.57B32Kdocs--
14B32Kdocs--
72B32Kdocs--
QwenVL9.6B2K-generate--
InternLM7B2K-generatePPL
20B2K-generatePPL
InternLM27B2K-generate--
20B4K--generate--
Yi6B2K-generate-
34B4Kgenerate-
Mixtral8x7B32Kdocs-
DeepSeek Coder33B4K-docs-
CodeLlama34B4KgenerateHumanEval
GPT213B2KgeneratePPL

使用示例

# 1. 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}"# 2. 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" WORKER_NUM# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" \WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT

关键字:使用MindFormers本地部署大模型

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: