Donau集群用户必备donau-slurm-wrappers项目完整指南与快速入门【免费下载链接】donau-slurm-wrappersdonau-slurm-wrappers provide some scripts for Slurm Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/donau-slurm-wrappers前往项目官网免费下载https://ar.openeuler.org/ar/对于习惯使用Slurm调度系统的用户来说迁移到Donau集群可能会面临命令语法差异的挑战。 今天我要为大家介绍一个终极解决方案——donau-slurm-wrappers项目这个工具包让Slurm用户能够快速上手Donau集群环境无需重新学习全新的命令体系什么是donau-slurm-wrappersdonau-slurm-wrappers是一个专为Slurm用户设计的命令行封装工具它提供了一套与Slurm语法完全兼容的脚本让习惯使用Slurm命令的用户能够无缝地在Donau集群环境中提交和管理作业。这个项目的核心功能是将熟悉的Slurm命令转换为对应的Donau CLI命令大大降低了学习成本。项目架构与依赖该项目基于Python开发支持Python2和Python3环境。要使用这个工具你需要满足以下依赖条件集群环境已安装Donau Scheduler版本需≥HPC22.0.0 B015Python模块需要安装python-dateutil模块可通过pip install python-dateutil完成安装一键安装步骤快速配置指南第一步下载项目文件# 从官方仓库下载项目 git clone https://gitcode.com/openeuler/donau-slurm-wrappers第二步设置权限和所有权# 假设当前用户为ccs_cli cd donau-slurm-wrappers chown -R ccs_cli:ccs_cli . chmod -R 555 .第三步配置环境变量将以下内容添加到用户的~/.bashrc文件中export PATH$PATH:/path/to/donau-slurm-wrappers/cmd/然后执行source ~/.bashrc使配置生效。核心命令详解从Slurm到Donau的无缝转换作业提交命令srun和sbatchsrun命令用于提交阻塞式作业相当于Donau的dsub -Kco命令。如果你需要提交交互式作业只需添加--pty参数即可。实用示例# 提交一个简单的作业 srun -c 2 -n 1 -J my_job -t 60 my_command # 提交交互式作业 srun --pty -p partition_name my_commandsbatch命令专门用于提交脚本作业支持MPI作业类型。这是批处理作业的理想选择MPI作业示例# 创建MPI作业脚本 cat mpi_job.sh EOF #!/bin/sh #SBATCH -o /tmp/%j.txt #SBATCH --commentmpi_test #SBATCH -n4 mpirun $CCS_MPI_OPTIONS my_application EOF # 提交MPI作业 sbatch --mpi openmpi mpi_job.sh作业查询命令squeue和sacctsqueue命令用于查询未完成的作业信息支持多种过滤选项# 查看所有作业 squeue # 查看指定用户的作业 squeue -u username # 查看详细格式 squeue -lsacct命令则专注于作业的记账信息可以查询已完成、失败、取消或正在运行的作业状态。作业控制命令scancel和scontrolscancel命令让你能够灵活地终止作业# 终止特定作业ID scancel 12345 # 终止指定用户的所有作业 scancel -u usernamescontrol命令提供了作业的暂停和恢复功能# 暂停作业 scontrol suspend 12345 # 恢复作业 scontrol resume 12345节点查询命令sinfosinfo命令让你轻松查看集群的节点和分区信息# 查看所有分区信息 sinfo # 查看节点列表 sinfo -N # 查看特定分区 sinfo -p partition_name环境变量支持灵活配置你的作业donau-slurm-wrappers支持丰富的环境变量让你能够更灵活地配置作业参数srun环境变量SRUN_CPUS_PER_TASK同-c选项SLURM_DEPENDENCY同--dependency选项SLURM_JOB_NAME同-J选项sbatch环境变量SBATCH_JOB_NAME同-J选项SBATCH_PARTITION同-p选项SBATCH_TIMELIMIT同-t选项常见问题与故障排除1. Token验证失败问题如果你遇到token相关的错误可以尝试以下解决方案# 获取新的身份验证token dconfig # 如果token过期重新执行dconfig命令2. 调试模式启用为了方便调试你可以设置环境变量来开启日志打印export SLURM_TO_DONAU_DEBUG1启用后每个脚本会在/tmp目录下生成对应的日志文件文件名格式为脚本名.UID.PID。3. 权限问题请确保不要使用root用户调用脚本CLI用户已正确加入用户组或管理员组脚本文件权限设置为555高级使用技巧作业依赖管理利用--dependency参数创建作业依赖关系# 作业B依赖于作业A完成后才开始 sbatch --dependencyafterok:12345 job_script.sh资源分配优化# 指定GPU资源 srun --gpus-per-task2 -c 4 -n 1 gpu_app # 独占节点运行 sbatch --exclusive -N 2 compute_intensive_job.sh输出重定向控制# 追加模式输出 sbatch --open-modeappend -o output.log job.sh # 覆盖模式输出 sbatch --open-modetruncate -o output.log job.sh最佳实践建议脚本位置建议将执行脚本放在共享目录中确保所有节点都能访问MPI作业对于MPI作业务必在脚本中使用$CCS_MPI_OPTIONS环境变量交互式作业需要提交到支持交互式作业的队列使用sinfo查看可用分区日志管理定期清理/tmp目录下的调试日志文件总结donau-slurm-wrappers项目为Slurm用户提供了完美的过渡方案让你能够在Donau集群中继续使用熟悉的Slurm命令语法。通过这个工具你可以✅零学习成本使用熟悉的Slurm命令语法 ✅高效迁移快速从Slurm环境切换到Donau集群 ✅全面兼容支持所有核心作业管理功能 ✅灵活配置丰富的环境变量和参数选项无论你是刚开始接触Donau集群的新手还是需要频繁在两种调度系统间切换的资深用户donau-slurm-wrappers都能为你提供简单、快速、高效的解决方案。立即尝试这个强大的工具开启你在Donau集群上的高效计算之旅温馨提示更多详细信息和最新更新请参考项目的README.md和README.en.md文档。【免费下载链接】donau-slurm-wrappersdonau-slurm-wrappers provide some scripts for Slurm Users to submit and manage jobs in Donau cluster environment项目地址: https://gitcode.com/openeuler/donau-slurm-wrappers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考