简介语义分割是计算机视觉中的核心任务旨在为图像中的每个像素分配类别标签其原理是通过编码器-解码器结构提取并融合多尺度特征实现像素级预测。这项技术在自动驾驶、医学影像分析等领域具有重要价值尤其在自动驾驶感知模块中精确的车道线分割是车辆路径规划和控制的基础。针对车道线分割任务Unet模型通过引入密集跳跃连接和深度监督有效缓解了传统U-Net中编码器与解码器间的语义鸿沟提升了细节恢复能力。本文以TuSimple数据集为例详细解析了从点标注生成掩码、使用Albumentations进行场景特化数据增强、构建并训练Unet模型结合Dice Loss与BCE Loss应对类别不平衡、以及模型评估与优化的完整工程实践流程为相关领域开发者提供了一个可复现的实战案例。1. 项目缘起为什么车道线分割值得投入一个完整的实战项目如果你关注过自动驾驶或者计算机视觉肯定对“车道线检测”这个词不陌生。从最早的传统图像处理到后来的深度学习车道线检测一直是感知模块里最基础、也最核心的任务之一。但很多人包括我刚开始接触时都有个误区觉得车道线检测就是画几条线用个YOLO或者简单的CNN跑一下就行了。实际上真正要把车道线“分割”出来尤其是在复杂光照、遮挡、磨损或者恶劣天气下让它稳定可靠里面的门道可深了。我之所以选择用Unet来做这个实战而不是更简单的模型是因为在实际项目中我们需要的不仅仅是“检测”出车道线的大致位置而是需要精确到像素级别的“分割”结果。这个结果会直接输入给下游的路径规划和控制模块任何一点模糊或错误都可能导致车辆决策失误。Unet这个网络结构在医学图像分割领域已经证明了自己处理精细边缘和复杂结构的能力把它迁移到车道线的场景正好能解决传统方法在细节恢复和上下文信息利用上的不足。这个项目我会带你从零开始手把手走完一个车道线分割项目的全流程从理解数据集、搭建环境、构建模型、训练调优一直到用训练好的模型进行推理并可视化结果。最关键的是我会把我自己踩过的坑、调参的经验、以及如何评估模型好坏的真实心得毫无保留地分享出来。无论你是想入门自动驾驶感知还是想深入理解语义分割这个项目都能给你提供一个扎实的、可复现的实战案例。2. 核心工具与数据准备环境、数据集与预处理全解析工欲善其事必先利其器。在开始敲代码之前把环境和数据搞清楚能避免后面80%的莫名其妙报错。2.1 开发环境搭建与依赖库选择我强烈建议使用Anaconda来管理Python环境它能很好地解决不同项目间库版本冲突的问题。下面是创建环境和安装核心依赖的步骤# 创建一个新的conda环境Python版本建议3.8兼容性最好 conda create -n lane_seg python3.8 -y conda activate lane_seg # 安装PyTorch这里以CUDA 11.3为例请根据你的显卡驱动去PyTorch官网选择对应命令 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装其他必要的库 pip install opencv-python pillow matplotlib scikit-learn scikit-image tqdm tensorboard pip install albumentations # 一个非常强大的数据增强库 pip install segmentation-models-pytorch # 这个库封装了Unet等众多分割模型方便我们调用这里有几个关键选择需要解释一下PyTorch 1.12.1这是一个相对稳定且功能完善的版本后续的segmentation-models-pytorch简称smp库对其支持很好。不建议追求最新版容易遇到兼容性问题。Albumentations为什么不用TorchVision自带的transforms因为车道线增强经常需要同时处理图像和对应的掩码Mask并且需要一些几何变换如透视变换模拟不同视角。Albumentations专门为分割任务设计能确保图像和掩码的变换严格同步非常方便。Segmentation Models PyTorch (smp)这个库封装了Unet、Unet、FPN、LinkNet、PSPNet、DeepLabV3等一系列主流分割模型并且预置了在ImageNet上预训练的编码器如ResNet、EfficientNet等。我们用它来构建Unet只需要几行代码省去了自己从头搭建网络的麻烦而且性能有保障。2.2 数据集深度剖析以TuSimple为例网上能找到的车道线数据集不少比如TuSimple、CULane、BDD100K、ApolloScape等。对于入门和实战我推荐从TuSimple开始。它虽然场景相对简单主要是高速公路但标注质量高数据量适中非常适合用来验证算法 pipeline 和进行模型调试。数据集结构解读下载并解压TuSimple数据集后你会看到类似这样的结构tusimple/ ├── train_set/ │ ├── clips/ # 视频片段文件夹 │ ├── label_data_*.json # 标注文件JSON格式 │ └── ... ├── test_set/ │ └── ... └── test_label.json # 测试集标注用于评测服务器关键点在于label_data_*.json文件。它并不是直接提供分割好的像素级掩码图而是以“点集”的形式标注了每条车道线。每一条标注大概长这样{ raw_file: path/to/clip/image.jpg, lanes: [ [x1, x2, ..., xn], // 第一条车道线的纵坐标对应的横坐标点 [x1, x2, ..., xn], // 第二条 ... // 最多4条 ], h_samples: [y1, y2, ..., yn] // 这些点对应的纵坐标固定的一组y值 }这意味着我们需要自己根据这些点生成训练所需的分割掩码图Mask。这是一个非常重要的预处理步骤。从标注点生成Mask的实战代码与坑点我们不能简单地把点连成线因为那样得到的线是单像素的不利于网络学习。通常的做法是将每条车道线“加粗”生成具有一定宽度的掩码。下面是一个核心函数import cv2 import numpy as np import json def create_mask_from_json(json_path, img_shape(720, 1280), lane_width10): 根据TuSimple的JSON标注生成二值分割掩码。 Args: json_path: 标注JSON文件路径。 img_shape: 图像高宽默认为(720, 1280)。 lane_width: 绘制车道线时的宽度像素。 Returns: mask: 二值掩码图车道线区域为255背景为0。 with open(json_path, r) as f: annotations json.load(f) # 初始化一个全黑的掩码图 mask np.zeros(img_shape, dtypenp.uint8) for anno in annotations: lanes anno[lanes] h_samples anno[h_samples] # 遍历每条车道线 for lane in lanes: if len(lane) 2: # 过滤掉点数太少的无效线 continue # 将点坐标配对成 (x, y) points [] for x, y in zip(lane, h_samples): if x -2: # TuSimple用-2表示该点无效 continue points.append([x, y]) if len(points) 2: continue points np.array(points, dtypenp.int32) # 使用cv2.polylines绘制粗线 # 注意polylines不会填充我们需要用cv2.line循环绘制或使用fillPoly近似 # 这里采用循环绘制相邻点之间的线段来实现加粗 for i in range(len(points) - 1): pt1 tuple(points[i]) pt2 tuple(points[i1]) cv2.line(mask, pt1, pt2, color255, thicknesslane_width) return mask注意这里的lane_width是一个超参数。设得太小如1网络很难学习设得太大如20会淹没近距离的车道线细节并且与真实世界的物理宽度不符。经过多次实验在720p图像上8-12是一个比较合理的范围。你可以生成几张Mask可视化一下看看效果。数据划分将train_set里的数据按大约 8:1:1 的比例划分为训练集、验证集和测试集。切记一定要在划分后再进行任何形式的数据增强防止信息泄露。2.3 数据增强策略针对车道线场景的特化设计车道线分割的数据增强不能乱用。像垂直翻转Vertical Flip这种操作在现实世界中几乎不会发生天和地不会颠倒用了反而会引入噪声。我们应该使用那些符合实际驾驶场景变化的增强。这里用Albumentations定义一个强化的增强管道import albumentations as A def get_train_transform(): return A.Compose([ A.RandomBrightnessContrast(p0.5), # 随机亮度对比度模拟光照变化 A.RandomGamma(p0.3), # 随机Gamma校正 A.HueSaturationValue(hue_shift_limit10, sat_shift_limit20, val_shift_limit10, p0.5), # 色相、饱和度、明度微调 A.OneOf([ # 模拟天气或传感器噪声 A.GaussNoise(var_limit(10.0, 50.0)), A.ISONoise(color_shift(0.01, 0.05), intensity(0.1, 0.5)), ], p0.3), A.OneOf([ # 几何变换模拟轻微颠簸或视角变化 A.ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit5, p0.5, border_modecv2.BORDER_CONSTANT, value0), A.Perspective(scale(0.03, 0.06), p0.3), ], p0.5), A.RandomCrop(height512, width512, p1.0), # 随机裁剪增加多样性并统一输入尺寸 A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), # ImageNet标准归一化 ]) def get_val_transform(): # 验证/测试时只进行裁剪中心裁剪和归一化不做任何随机增强 return A.Compose([ A.CenterCrop(height512, width512, p1.0), A.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ])实操心得RandomCrop的尺寸我设为512x512这是权衡了计算资源和模型性能后的结果。原图1280x720裁剪后能保留大部分道路信息。Normalize的参数为什么是(0.485, 0.456, 0.406)和(0.229, 0.224, 0.225)因为smp库中预训练的编码器是在ImageNet数据集上用这个均值和标准差训练的。使用相同的归一化参数才能有效利用预训练权重。3. Unet模型架构详解与PyTorch实现理解了数据和环境我们进入核心部分模型。Unet是对经典U-Net的魔改理解它的设计动机比单纯调用API更重要。3.1 从U-Net到Unet我们到底解决了什么问题经典U-Net是编码器-解码器结构中间通过“跳跃连接”将编码器的高分辨率特征图与解码器的上采样特征图拼接帮助恢复细节。但它有个问题编码器和解码器对应层之间的语义鸿沟。编码器底层特征靠近输入包含丰富的细节边缘、纹理但语义信息弱不知道这是车道线还是路沿。编码器高层特征靠近瓶颈语义信息强知道这是一条线但细节丢失严重位置模糊。U-Net直接将它们拼接相当于让一个“只知道细节的士兵”和一个“只知道战略的将军”直接合作沟通效率不高。Unet的发明者Zhou等人提出了一个精妙的解决方案引入密集跳跃连接和深度监督。密集跳跃连接在U-Net的编码器和解码器之间构建一个密集连接的网络。解码器的每一层都会接收来自所有更低层编码器的特征图经过适当的上采样/卷积对齐尺寸后并进行融合。这样解码器在重建细节时能同时参考多个尺度、多种语义层次的特征融合得更充分、更平滑。深度监督在Unet的每一层解码器输出端都接一个1x1卷积层产生一个分割图。在训练时这些不同尺度的分割图都会计算损失通常会对较粗糙的图进行下采样与真值对齐。这相当于在网络的多个阶段都设置了“检查点”提供了更丰富的梯度信号缓解了梯度消失也能让模型从不同尺度学习特征。简单说Unet通过更密集的特征融合路径让信息流动更顺畅让解码器在做“看图说话”从特征恢复像素时拥有更全面的“上下文词典”和“细节放大镜”。3.2 使用SMP库快速构建与自定义Unet得益于smp库我们构建一个Unet模型只需要几行代码import segmentation_models_pytorch as smp # 定义模型 model smp.UnetPlusPlus( encoder_nameresnet34, # 编码器 backbone可选 resnet18, resnet34, resnet50, efficientnet-b0等 encoder_weightsimagenet, # 使用在ImageNet上预训练的权重 in_channels3, # 输入通道数RGB图为3 classes1, # 输出类别数二分类车道线/背景所以是1 activationsigmoid, # 输出层激活函数二分类用sigmoid将输出映射到[0,1] )这行代码背后smp帮我们完成了编码器加载、Unet复杂结构的搭建、以及权重初始化。encoder_weightsimagenet至关重要它意味着编码器部分已经学会了识别通用视觉特征边缘、角点、纹理我们只需要在其基础上微调使其适应“车道线”这个特定任务这能极大加快收敛速度提升最终性能。关键参数选择背后的逻辑encoder_nameresnet34ResNet34在速度和精度上取得了很好的平衡。ResNet18更快但特征提取能力稍弱ResNet50更强大但参数多、计算慢。对于车道线分割ResNet34通常是性价比最高的起点。activationsigmoid因为我们是二分类车道线像素1背景像素0每个像素独立预测其属于车道线的概率所以用Sigmoid。如果是多类别分割如区分左车道线、右车道线、道路等则需要使用activationNone并在损失函数中配合Softmax。3.3 模型初始化与权重加载技巧即使使用了预训练编码器解码器部分和跳跃连接部分的参数仍是随机初始化的。一种好的实践是对这些新添加的层使用特定的初始化方法例如He初始化Kaiming初始化它针对ReLU系列的激活函数进行了优化能帮助网络在训练初期更稳定。smp库的模型默认已经对全卷积层做了合理的初始化。但如果你需要自定义可以这样做import torch.nn as nn def initialize_decoder(module): for m in module.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) if m.bias is not None: nn.init.constant_(m.bias, 0) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) # 对模型的解码器部分进行初始化 initialize_decoder(model.decoder) initialize_decoder(model.segmentation_head) # 分割头注意通常我们只对新增部分解码器进行自定义初始化编码器部分应保持其预训练权重不变至少在训练初期是这样。4. 训练策略、损失函数与调参实战模型搭好了数据准备好了接下来就是最关键的训练环节。这里面的每一个选择都直接影响最终模型的性能。4.1 损失函数选型为什么Dice Loss BCE Loss是黄金组合分割任务中背景像素非车道线通常占绝大多数存在严重的类别不平衡。如果只用标准的二值交叉熵损失BCE Loss模型会倾向于把所有像素都预测为背景因为这样也能获得一个很低的损失值。为了解决这个问题我们需要引入能关注“前景区域车道线”的损失函数。Dice Loss就是为此而生。它衡量的是预测结果和真实掩码之间的重叠度Dice系数对类别不平衡不敏感。Dice Loss 1 - (2 * |A ∩ B|) / (|A| |B|)其中A是预测B是真值。但单独使用Dice Loss也有问题它在训练初期当预测和真值几乎没有重叠时梯度可能不稳定。因此业界普遍采用BCE Loss Dice Loss的加权组合取长补短。import torch import torch.nn as nn import torch.nn.functional as F class DiceBCELoss(nn.Module): def __init__(self, weight0.5, smooth1e-6): super(DiceBCELoss, self).__init__() self.weight weight # Dice Loss的权重 self.smooth smooth # 防止分母为0 def forward(self, inputs, targets): # inputs: 模型输出 (经过sigmoid) [B, 1, H, W] # targets: 真实掩码 [B, 1, H, W] inputs inputs.view(-1) targets targets.view(-1) # 计算BCE Loss bce_loss F.binary_cross_entropy(inputs, targets, reductionmean) # 计算Dice Loss intersection (inputs * targets).sum() dice_coeff (2. * intersection self.smooth) / (inputs.sum() targets.sum() self.smooth) dice_loss 1 - dice_coeff # 组合损失 total_loss bce_loss * (1 - self.weight) dice_loss * self.weight return total_loss在我的实验中weight0.5即两者权重相等或weight0.6更侧重Dice通常效果不错。smooth参数很重要避免了零除错误一般设为1e-6或1e-7。4.2 优化器与学习率调度AdamW与CosineAnnealingLR的配合优化器我选择AdamW它是Adam的改进版加入了权重衰减的正则化能更好地防止过拟合是目前视觉任务中的主流选择。 学习率调度器我推荐CosineAnnealingLR余弦退火它让学习率像余弦曲线一样从初始值缓慢下降到0有时还会配合热重启CosineAnnealingWarmRestarts。这种调度方式在后期能让模型更好地收敛到局部最优。import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR # 准备数据加载器 train_loader, val_loader (这里省略) # 初始化模型、损失函数、优化器 model model.cuda() criterion DiceBCELoss(weight0.5).cuda() optimizer optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) # 初始学习率1e-4权重衰减1e-4 # 创建学习率调度器 scheduler CosineAnnealingLR(optimizer, T_maxnum_epochs) # T_max为周期数通常等于总epoch数参数解读lr1e-4对于使用预训练权重的模型这是一个比较安全的初始学习率。如果从头训练可能需要更小如5e-5。weight_decay1e-4权重衰减一种正则化手段防止模型过拟合。AdamW已经将权重衰减与梯度更新解耦效果更好。T_max余弦周期的长度。设为总训练轮数意味着学习率在整个训练过程中平滑下降一次。4.3 训练循环中的关键技巧与监控训练循环的代码框架大家都很熟悉但魔鬼在细节里。以下是几个容易被忽略但至关重要的点1. 混合精度训练AMP使用Automatic Mixed Precision可以大幅减少GPU显存占用并可能加快训练速度尤其是对于像ResNet50这样的大模型。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() # 梯度缩放防止混合精度训练下梯度下溢 for epoch in range(num_epochs): model.train() for images, masks in train_loader: images, masks images.cuda(), masks.cuda() optimizer.zero_grad() with autocast(): # 前向传播使用混合精度 outputs model(images) loss criterion(outputs, masks) scaler.scale(loss).backward() # 反向传播scaler自动处理梯度缩放 scaler.step(optimizer) scaler.update() scheduler.step()2. 验证与早停Early Stopping训练时必须在独立的验证集上监控性能防止过拟合。常用的分割指标是IoU交并比和Dice系数。当验证集指标在连续多个epoch如10个不再提升时就提前停止训练并保存性能最好的模型。def calculate_iou(pred, target): # pred和target是二值化的掩码 intersection (pred target).float().sum((1, 2)) union (pred | target).float().sum((1, 2)) iou (intersection 1e-6) / (union 1e-6) # 加平滑项 return iou.mean().item() best_val_iou 0.0 patience 10 counter 0 for epoch in range(num_epochs): # ... 训练步骤 ... # 验证步骤 model.eval() val_iou_total 0.0 with torch.no_grad(): for val_images, val_masks in val_loader: val_outputs model(val_images.cuda()) val_preds (torch.sigmoid(val_outputs) 0.5).cpu().byte() # 二值化 val_iou_total calculate_iou(val_preds, val_masks.byte()) avg_val_iou val_iou_total / len(val_loader) # 早停逻辑 if avg_val_iou best_val_iou: best_val_iou avg_val_iou torch.save(model.state_dict(), best_model.pth) counter 0 else: counter 1 if counter patience: print(fEarly stopping at epoch {epoch}) break3. TensorBoard可视化一定要用TensorBoard或类似的工具来可视化训练过程。不仅要看损失下降曲线更要看验证集IoU/Dice的上升曲线。同时定期保存一些验证集样本的预测结果与真值的对比图直观感受模型学到了什么哪里还不行。5. 模型推理、结果可视化与性能评估模型训练完成后我们最终要把它用起来看看效果到底怎么样。5.1 推理脚本编写与后处理推理脚本的核心是加载模型、预处理输入图像、前向传播、后处理输出。import cv2 import torch import numpy as np from model import YourUnetPlusPlusModel # 假设你的模型定义在这里 def inference_single_image(image_path, model_path, devicecuda): # 1. 加载模型 model YourUnetPlusPlusModel() model.load_state_dict(torch.load(model_path)) model.to(device) model.eval() # 2. 图像预处理必须与训练时一致 original_img cv2.imread(image_path) original_img cv2.cvtColor(original_img, cv2.COLOR_BGR2RGB) h, w, _ original_img.shape # 使用与验证集相同的变换 from albumentations import Compose, CenterCrop, Normalize transform Compose([ CenterCrop(height512, width512), Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ]) augmented transform(imageoriginal_img) input_tensor augmented[image] input_tensor torch.from_numpy(input_tensor).permute(2, 0, 1).unsqueeze(0).float().to(device) # [1, 3, H, W] # 3. 模型推理 with torch.no_grad(): output model(input_tensor) prob_map torch.sigmoid(output).squeeze().cpu().numpy() # 概率图 [H, W] # 4. 后处理将512x512的预测图还原到原图尺寸 # 首先将概率图二值化 pred_mask (prob_map 0.5).astype(np.uint8) * 255 # 由于我们做了CenterCrop需要将预测mask贴回原图中心四周补黑边 full_mask np.zeros((h, w), dtypenp.uint8) crop_h, crop_w pred_mask.shape start_h (h - crop_h) // 2 start_w (w - crop_w) // 2 full_mask[start_h:start_hcrop_h, start_w:start_wcrop_w] pred_mask return original_img, full_mask, prob_map后处理中的关键点阈值选择0.5是默认阈值。在实际应用中你可以根据验证集的表现调整这个阈值。提高阈值如0.6会让预测更“保守”减少误报把背景当车道线但可能漏掉一些模糊的车道线降低阈值如0.4则相反。这需要在精确率Precision和召回率Recall之间做权衡。尺寸还原因为训练时我们进行了裁剪Crop推理时也必须用同样的方式裁剪。预测结果是针对裁剪区域的需要准确地映射回原图坐标。这里我们用了CenterCrop所以直接贴回中心即可。如果你训练时用了RandomCrop推理时就必须用滑动窗口或将图像Resize到固定尺寸再预测处理起来更复杂。5.2 可视化让结果一目了然将原图、预测掩码、概率热力图叠加显示能最直观地评估模型效果。import matplotlib.pyplot as plt def visualize_results(original_img, pred_mask, prob_map): fig, axes plt.subplots(1, 4, figsize(20, 5)) # 原图 axes[0].imshow(original_img) axes[0].set_title(Original Image) axes[0].axis(off) # 预测的二值掩码 axes[1].imshow(pred_mask, cmapgray) axes[1].set_title(Predicted Mask (Binary)) axes[1].axis(off) # 概率热力图 prob_show axes[2].imshow(prob_map, cmapjet) axes[2].set_title(Predicted Probability Heatmap) axes[2].axis(off) plt.colorbar(prob_show, axaxes[2]) # 叠加显示将掩码以半透明红色覆盖在原图上 overlay original_img.copy() overlay[pred_mask 255] [255, 0, 0] # 红色 axes[3].imshow(cv2.addWeighted(original_img, 0.7, overlay, 0.3, 0)) axes[3].set_title(Overlay on Original) axes[3].axis(off) plt.tight_layout() plt.show() # 使用函数 orig_img, mask, prob inference_single_image(test.jpg, best_model.pth) visualize_results(orig_img, mask, prob)5.3 定量评估不仅仅是看IoU在验证集或测试集上进行定量评估是必须的。常用的指标有IoU (Intersection over Union)最常用的分割指标。IoU TP / (TP FP FN)。Dice Coefficient (F1 Score)Dice 2*TP / (2*TP FP FN)。与IoU高度相关但更侧重于前景区域。Precision (准确率)Precision TP / (TP FP)。预测为车道线的像素中有多少是真的。高Precision意味着误报少。Recall (召回率)Recall TP / (TP FN)。真的车道线像素中有多少被预测出来了。高Recall意味着漏报少。对于车道线分割我们通常更关心Recall因为漏检车道线FN比误检FP更危险。但也不能完全不顾Precision否则满屏都是“车道线”。所以最好综合看F1 Score (Dice)和IoU并在不同阈值下绘制P-R曲线计算平均精度AP。from sklearn.metrics import precision_score, recall_score, f1_score, jaccard_score def evaluate_model(model, dataloader, devicecuda): model.eval() all_preds [] all_targets [] with torch.no_grad(): for images, masks in dataloader: images images.to(device) outputs model(images) preds (torch.sigmoid(outputs) 0.5).cpu().byte().view(-1).numpy() targets masks.byte().view(-1).numpy() all_preds.append(preds) all_targets.append(targets) all_preds np.concatenate(all_preds) all_targets np.concatenate(all_targets) iou jaccard_score(all_targets, all_preds, averagebinary) precision precision_score(all_targets, all_preds, averagebinary) recall recall_score(all_targets, all_preds, averagebinary) f1 f1_score(all_targets, all_preds, averagebinary) print(fIoU: {iou:.4f}) print(fPrecision: {precision:.4f}) print(fRecall: {recall:.4f}) print(fF1 Score: {f1:.4f}) return {iou: iou, precision: precision, recall: recall, f1: f1}6. 常见问题排查与性能优化指南即使按照上述流程你也可能会遇到各种问题。这里我总结了一些典型的“坑”和解决方案。6.1 训练Loss不下降或震荡剧烈可能原因1学习率太大。这是最常见的原因。尝试将学习率降低一个数量级例如从1e-4降到1e-5或者使用学习率预热Warmup策略。可能原因2数据预处理不一致。检查训练和验证的数据预处理管道Normalize的均值方差、裁剪尺寸等是否完全一致。一个常见的错误是训练时用了RandomCrop验证时忘了用CenterCrop导致分布不一致。可能原因3标签Mask有问题。可视化检查一下你生成的Mask是否正确。有没有车道线断裂宽度是否合适背景是否为纯黑0车道线区域是否为纯白255或1可能原因4损失函数权重不合适。如果你自定义了组合损失尝试调整BCE Loss和Dice Loss的权重比例。6.2 模型预测结果全是背景或全是车道线可能原因1类别极度不平衡且损失函数未处理好。确认是否使用了Dice Loss或Focal Loss等应对不平衡的损失。检查你的Mask中前景像素车道线的比例是否过低例如1%。如果是可以考虑在损失函数中为前景类别增加权重class_weight或者在数据增强时专门对包含车道线的区域进行过采样。可能原因2输出层激活函数用错。二分类任务最后一层应该是nn.Sigmoid()而不是nn.Softmax(dim1)。Softmax用于多分类它会强制所有通道的和为1在二分类时会导致两个通道互相竞争可能出问题。可能原因3模型根本没有学到东西。检查模型参数是否被正确加载和冻结/解冻。尝试在训练初期只训练解码器部分冻结编码器看看Loss是否下降。6.3 模型过拟合训练集指标很好验证集指标很差解决方案1加强正则化。增加weight_decay权重衰减的值在模型中添加Dropout层smp的Unet默认可能没有可以自定义添加使用更强大的数据增强。解决方案2获取更多数据。数据量不足是过拟合的根本原因。除了收集新数据可以尝试使用生成对抗网络GAN进行数据增强或者利用半监督学习用模型对无标签数据生成伪标签Pseudo-label来扩充训练集。解决方案3简化模型。如果数据量确实很少可以尝试使用更小的编码器如ResNet18代替ResNet34或者减少Unet的深度和通道数。6.4 推理速度慢无法满足实时性要求自动驾驶对实时性要求很高通常10 FPS。如果模型推理太慢模型轻量化将编码器替换为更轻量的网络如MobileNetV2、EfficientNet-B0或专门为移动端设计的网络。知识蒸馏用一个大模型教师模型去指导一个小模型学生模型训练让小模型获得接近大模型的性能。模型剪枝与量化训练后剪枝掉不重要的神经元连接并将模型权重从FP32转换为INT8可以大幅减少模型体积和加速推理。PyTorch和TensorRT都提供了相关的工具。工程优化使用TensorRT、OpenVINO等推理框架对模型进行优化和部署能获得比原生PyTorch更快的速度。7. 项目总结与扩展思考走完这个完整的项目你应该已经掌握了基于Unet的车道线分割从理论到实践的每一个环节。我们不仅复现了一个模型更重要的是理解了数据准备、模型设计、训练调优、评估部署这一整套计算机视觉项目的研发流程。回顾一下核心要点数据预处理特别是从点标注生成Mask是基础Unet的密集连接结构能有效融合多尺度特征DiceBCE的组合损失是处理类别不平衡的关键AdamWCosineAnnealingLR是可靠的优化组合而IoU、Recall等指标则为我们提供了模型性能的客观度量。这个项目本身还有很大的扩展空间。例如你可以尝试更复杂的数据集将模型迁移到CULane或BDD100K这类包含城市道路、夜间、雨天等复杂场景的数据集上挑战模型的泛化能力。多类别分割不满足于只分割“车道线”尝试分割“左车道线”、“右车道线”、“道路区域”、“路沿”等多个类别这需要修改模型输出通道数和损失函数如CrossEntropy Loss。时序信息利用车道线在视频序列中是连续的。可以尝试使用卷积LSTM或3D CNN将前后帧的信息融合进来提升在遮挡情况下的分割鲁棒性。部署实战尝试使用LibTorchPyTorch C API或ONNXTensorRT将训练好的PyTorch模型部署到Jetson Xavier NX等嵌入式设备上实现真正的端侧推理。车道线分割是自动驾驶感知的基石但它远不是终点。希望这个项目能成为你进入更广阔的计算机视觉和自动驾驶世界的一块扎实的敲门砖。在实际操作中最大的收获往往来自于解决那些文档里没写的、稀奇古怪的bug。多动手多思考多总结你积累下的经验才是最宝贵的。本文还有配套的精品资源点击获取