BMW-YOLOv4-Training-Automation 踩坑自救手册nan loss、OOM 等 7 大常见问题一次解决【免费下载链接】BMW-YOLOv4-Training-AutomationThis repository allows you to get started with training a state-of-the-art Deep Learning model with little to no configuration needed! You provide your labeled dataset or label your dataset using our BMW-LabelTool-Lite and you can start the training right away and monitor it in many different ways like TensorBoard or a custom REST API and GUI. NoCode training with YOLOv4 and YOLOV3 has never been so easy.项目地址: https://gitcode.com/gh_mirrors/bm/BMW-YOLOv4-Training-Automation训练 YOLOv4 目标检测模型时你是否也遇到过 loss 突然变成nan、显存直接爆掉、训练刚开始就神秘退出的情况BMW-YOLOv4-Training-Automation是一个基于 darknet 的 YOLOv4/YOLOv3 训练自动化项目号称零配置开箱即用但实际上手后依然有不少坑。本文整理了新手训练时最高频的7 大踩坑现场从 nan loss 到 OOM 显存不足附上可直接照抄的解决办法帮你把训练跑通、跑稳。 先花 1 分钟搭好环境在进入问题清单之前先确认你的环境符合要求Ubuntu 18.04、Docker、NVIDIA 驱动与 NVIDIA-DockerGPU 训练必需。克隆仓库后用下面两条命令完成依赖与 Docker 安装chmod x scripts/install_dependencies.sh source scripts/install_dependencies.sh chmod x scripts/install_docker.sh source scripts/install_docker.sh然后一键构建 GPU 版镜像包含全部默认权重sudo docker build -f docker/Dockerfile -t darknet_yolov4_gpu:1 --build-arg GPU1 --build-arg CUDNN1 --build-arg CUDNN_HALF0 --build-arg OPENCV1 --build-arg DOWNLOAD_ALL1 .构建过程可以参考项目里的演示动图看到终端刷刷刷输出就说明一切正常环境就绪后把数据集目录含images/、labels/yolo/和train_config.json的绝对路径喂给./run_docker_linux_gpu.sh即可开训。接下来进入正题7 大高频问题。 问题 1loss 出现 nan loss训练直接报废现象日志里avg loss一栏变成nan且持续不恢复。原因与对策这是 YOLOv4 训练最经典的翻车现场绝大多数情况是学习率过大导致梯度爆炸。检查你的train_config.jsonYOLOv4 请调低model.yolov4_config.learning_rate默认 0.0013可先降到 0.001 甚至 0.00065YOLOv3 则对应model.yolov3_config.learning_rate。特别提醒多卡训练时更容易出 nan官方建议直接把学习率压到0.00065。另外只有当avg loss本身是 nan 才说明训练出了问题如果只是日志其他行出现 nan比如IOU、count等属于正常现象不用慌。配置项的完整含义可以在 config/train_config_schema.json 里逐个对照。 问题 2OOM 显存不足训练被系统杀掉现象终端报Out of memory或 CUDA 显存错误容器直接退出。原因与对策显存爆掉的根源是单次送入 GPU 的样本太多。darknet 有个关键机制实际占用显存的批量大小 batch_size ÷ subdivisions。所以两条立竿见影的救法调大subdivisions从 1 依次试 16、32、64调小图像尺寸把train_image_width/train_image_height从 608 降到 416 甚至 320。参考两种配置模板 config/train_config.json.template 用的是batch_size2, subdivisions1而 sample_dataset/train_config.json 用的是batch_size64, subdivisions32——显存紧张时优先学习后者。记住口诀显存不够subdivisions 来凑。⚡ 问题 3训练秒退一眨眼就结束了现象训练启动后没有任何报错几秒钟就自动结束日志也没留下有效信息。原因与对策这说明你的batch_size和subdivisions设置过大导致每个真实批次effective batch被分割后样本数不足。解决方法是同时减小这两个值比如batch_size16, subdivisions16起步确认能稳定迭代后再逐步加大。判断标准很简单训练能正常打印出带 loss 的迭代日志就算过了这一关。️ 问题 4数据集校验报错图片和标签对不上现象启动时报No labels found for these images或No images were found。原因与对策项目启动时会调用数据校验逻辑见 src/train_utils.py 的data_checkup对数据集做四道检查classes数组不能为空images/里必须有图片且后缀必须是.png、.jpg、.jpeglabels/yolo/里必须有.txt标签每张图片必须有同名标签文件去掉后缀后一一对应。比如training_images_take_7_447.png就必须有training_images_take_7_447.txt。检查一下是不是有图没标、有标没图。数据集样例如下图标注时请确保目标完整被框住另外如果图多到没时间手动划分可以直接不给train.txt/test.txt项目会按data.train_ratio默认 0.8自动切分训练集与测试集。⚖️ 问题 5权重文件缺失或下载失败现象报Custom weights not found、initial.weights找不到或构建镜像时权重下载超时。原因与对策权重问题有三种常见情况自定义预训练权重使用model.custom_weights.enabletrue时权重文件必须放在数据集文件夹内和images平级并保证name字段与实际文件名一致模型名不合法model.model_name只能是yolov3、yolov3-tiny、darknet53.conv.74、yolov4之一映射关系定义在 src/model2config.json权重下载慢可以手动执行 config/darknet/yolov4_default_weights/download_weights.sh 或 config/darknet/yolo_default_weights/download_weights.sh 提前下载避免构建时反复失败。 问题 6监控面板打不开端口全被占现象训练跑起来了但 TensorBoard、Web UI 或 API 页面访问不了。原因与对策项目默认提供 4 种监控方式端口分别在配置的training段控制监控方式默认端口配置开关自定义 REST APISwagger8000custom_api.enableDashboard 仪表盘3000dashboard.enableTensorBoard6006tensorboard.enabledarknet Web UI8090web_ui.enable踩坑点tensorboard.enable默认是false不开开关端口映射自然不会生效端口映射逻辑见 run_docker_linux_gpu.sh。另外注意各端口不能被本机其他程序占用训练前可以用ss -tlnp自查。开启后TensorBoard 里就能看到 loss 下降、mAP 上升的实时曲线训练好坏一目了然想用 REST API 远程查看训练状态、提交图片做推理项目内置了完整的 Swagger 接口文档训练期间访问对应端口即可 问题 7Docker 构建失败GPU 版本跑不起来现象docker build报错或容器启动时提示找不到 GPU。原因与对策构建参数不同镜像用途完全不同常见坑有三个GPU 型号较新如果你用的是 Volta、Turing 及以上架构如 V100、RTX 2080构建时可以把CUDNN_HALF从 0 改为 1 以启用半精度加速没有 GPU 或仅 CPU请改用GPU0 CUDNN0构建 CPU 版镜像想利用多核 CPU 再加OPENMP1公司网络有代理构建时补上--build-arg http_proxy --build-arg https_proxy可避免拉取基础镜像卡死。镜像命名建议区分GPU 版叫darknet_yolov4_gpu:1CPU 版叫darknet_yolov4_cpu:1并在 run_docker_linux_gpu.sh 与run_docker_linux_cpu.sh中选择对应的脚本启动。✅ 总结一张表记住 7 大问题的急救方案问题一句话急救nan loss学习率降到 0.00065多卡必降OOM 显存不足加大 subdivisions或缩小训练尺寸训练秒退同时减小 batch_size 与 subdivisions数据集校验失败保证图片与标签同名一一对应权重找不到权重放数据集目录模型名拼写正确监控打不开检查对应 enable 开关与端口占用构建失败按硬件选对 GPU/CPU 构建参数BMW-YOLOv4-Training-Automation把 darknet 训练封装成了填配置 跑脚本的自动化流程出问题时往往就藏在train_config.json的几十个参数里。遇到报错别慌对照这张自救清单逐项排查你的 YOLOv4 训练很快就能跑出漂亮的 loss 曲线。祝各位一次跑通早日收获满意的权重文件【免费下载链接】BMW-YOLOv4-Training-AutomationThis repository allows you to get started with training a state-of-the-art Deep Learning model with little to no configuration needed! You provide your labeled dataset or label your dataset using our BMW-LabelTool-Lite and you can start the training right away and monitor it in many different ways like TensorBoard or a custom REST API and GUI. NoCode training with YOLOv4 and YOLOV3 has never been so easy.项目地址: https://gitcode.com/gh_mirrors/bm/BMW-YOLOv4-Training-Automation创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考