简介语义分割是计算机视觉中的核心任务旨在对图像中每个像素进行类别预测广泛应用于遥感影像分析、自动驾驶和医学图像处理。在遥感领域高分辨率影像中的地物识别面临尺寸大、尺度差异显著等挑战传统方法难以满足精度需求。深度学习模型通过自动提取多尺度特征显著提升了分割效果。其中Unet以其编码器-解码器和跳跃连接结构在小样本场景下表现稳定Deeplab V3则借助空洞卷积和ASPP模块增强了对多尺度目标的感知能力。两者结合Python工程化实现可构建完整的遥感图像分割流水线涵盖切片、增强、训练、评估与推理。本文从技术原理出发比较两种模型的差异并分享实际训练中的超参调优、数据预处理和常见踩坑经验帮助开发者快速上手遥感语义分割项目。 最近在做遥感图像语义分割的项目核心任务是把高分辨率遥感影像里的地物类别逐像素识别出来比如建筑、道路、植被、水体、农田这些类别。模型选了 Deeplab V3 和 Unet用 Python 实现整套工程最后整理成了源代码、文档说明和数据集的完整交付包。这篇文章不是贴个论文链接就完事的科普而是把我实际跑通实验的全过程、关键细节、训练经验和踩坑记录都写出来。如果你正打算用 Python 做遥感语义分割或者需要在 Deeplab V3 和 Unet 之间做选型对比这篇文章应该能帮你少走很多弯路。遥感图像分割和自然图像分割有个很大的区别遥感影像尺寸极大动辄几千乘几千像素而且地物目标尺度差异非常明显同一张图里可能有几十米宽的建筑物也可能有不到一个像素宽的道路。直接套用自然图像分割的流程经常会翻车。所以我在这套代码里把切片、标签重映射、数据增强、模型训练、评估、推理合并成一条流水线保证从数据到结果都能稳定复现。下面按项目设计、模型细节、训练实操、排坑经验、改进方向这几个部分展开。1. 项目设计与技术选型1.1 为什么同时选 Deeplab V3 和 Unet我开始这个项目时最纠结的就是选哪个模型。Unet 在医学图像分割里非常出名结构简单训练起来收敛快而且对小样本数据相对友好。Deeplab V3 是 Google 提出的语义分割模型主打空洞卷积和 ASPP 模块对多尺度目标有更强的感知能力。考虑到遥感影像里面目标和尺度变化特别大我最后决定两个模型都用跑一组对比实验而不是迷信某个模型出名或者别人刷了多高的分数。这里要解释一下两个模型的本质区别。Unet 是一种编码器-解码器结构编码器逐步下采样提取高层语义解码器逐步上采样恢复空间分辨率中间用跳跃连接把同尺度的浅层特征拼回来。优点是实现简单、参数少、训练容易尤其是数据量不够大的时候它不容易过拟合。Deeplab V3 同样有编码器-解码器框架但编码器部分多了 ASPP空洞空间金字塔池化用了不同膨胀率的空洞卷积并行提取特征从而在不降低分辨率的情况下获得更大的感受野。解码器则引入了编码器低层特征和 ASPP 高层特征的融合边界恢复能力比旧版 Deeplab V3 更强。从实际效果看这两个模型在遥感分割任务上没有绝对的优劣。我见过不少已发表工作直接用 Unet 做建筑物提取也有大量 benchmark 用 Deeplab 系列刷遥感数据集的分数。真正差异取决于你的数据集规模、目标尺度、显存预算和训练时间。把两个模型都实现一遍还能顺便验证同一个训练 pipeline 是否对模型换装足够友好这本身就是工程上很值得做的事。1.2 整体架构与文件组织整个项目我按工程化的方式组织而不是把一堆脚本堆在同一个目录里。顶层目录是这样的remote_sensing_segmentation/ ├── data/ │ ├── raw/ # 原始遥感影像和标签 │ ├── processed/ # 切片后的 npz/tfrecord 文件 │ └── splits/ # train/val/test 划分索引 ├── src/ │ ├── dataset.py # 数据加载与增强 │ ├── models/ │ │ ├── unet.py │ │ └── deeplabv3p.py │ ├── losses.py # 损失函数 │ ├── metrics.py # mIoU, accuracy, precision, recall │ ├── train.py # 训练入口 │ └── predict.py # 推理并导出 geotiff/png ├── configs/ │ ├── unet.yaml │ └── deeplabv3p.yaml ├── docs/ │ ├── 实验说明.md │ └── 数据集说明.md └── requirements.txt分成 src、configs、docs、data 四块后后面换数据集、调参数、给别人复现都方便很多。尤其是文档说明和数据集说明很多人不重视最后交接项目或写论文时才发现缺了不少细节。我建议从一开始就把数据来源、标注规范、类别映射关系、预处理脚本的参数全部记录下来。你永远想不到一个月后的自己会忘记当时的决策理由。1.3 数据集选择与预处理策略我用的是公开的遥感语义分割数据集。如果是入门跑通流程可以用 DeepGlobe Land Cover 数据集它包含 10 到 50 厘米分辨率的多光谱图像标签类别有 farmland、forest、urban、water 等原始图像是 2448x2448 的尺寸。也可以用 Massachusetts Roads 或 INRIA Aerial Image 这类简化任务的数据集类别少适合快速 debug。这里要提醒一句公开数据集可以直接下载但自己标注数据时一定要先统一类别编码否则后面做评估时会死得很难看。遥感影像的预处理是整个流程的隐形门槛。原始影像非常大我的做法是先统一所有影像和标签的坐标系统再按固定窗口大小切片。切片时要注意重叠比例一般建议 25% 到 50% 的重叠这样能减少边界目标被切断的概率。切片尺寸通常设置在 256x256 或 512x512太小会丢失上下文信息太大则显存扛不住。我在这套代码里默认用 512x512配一个 50% 的 overlap训练时再随机裁剪成 256x256 来增强。标签的处理也要特别注意。遥感标注常见的格式有矢量、单波段整数 PNG、RGB 三分类 PNG 等。如果分类数不多我建议把标签统一转换成 uint8 单通道的整数掩膜每个像素值对应类别 id。因为很多损失函数直接使用类别 id如果标签是 one-hot 编码格式内存占用会大很多训练速度也会慢一些。在 DeepGlobe 这类多类别数据集上类别 id 不是连续编码的一定要写一个重映射表把原始标注中的数值映射到 0 到 num_classes-1 的范围这一步很容易被忽略但影响巨大。2. 模型结构与关键参数解析2.1 Unet 实现要点Unet 的代码看起来简单但有几个容易出问题的细节。编码器部分我用了一个简单的 VGG 风格堆叠每个 stage 包含两个 3x3 卷积、BN、ReLU然后接一个 2x2 max pooling。解码器部分先对特征图做 2x2 反卷积或双线性采样上采样再和编码器对应尺度的特征图做通道拼接最后用两个 3x3 卷积融合。最后一层用 1x1 卷积把通道数映射到类别数。跳跃连接是 Unet 的核心但我在第一次实现时漏了在拼接前检查编码器和解码器特征图尺寸是否一致。由于 padding 设置不一致很常见的情况是编码器特征图比解码器上采样后的特征图大或小 1 个像素拼接时直接报错或者广播到一个错误尺寸最后训练出的模型边界很差。我后来统一了所有卷积的 padding1并且在下采样前记录特征图尺寸解码器上采样后用中心裁剪或边缘 pad 对齐这个坑才算填平。Unet 有几个变体需要注意。有些改进版本用深度可分离卷积替换普通卷积可以明显降低参数量和推理耗时代价是精度略有下降也有用残差连接替换普通跳跃的比如 ResUnet在遥感分割里尤其常用。为了做对比我把原始 Unet、ResUnet 还有轻量版 Unet 都写在 models/unet.py 里后续可以通过参数一键切换骨干。如果你自己有新的模块想加也可以参照这种模式不要改训练主流程只改模型文件里的 forward 逻辑。2.2 Deeplab V3 实现要点Deeplab V3 的实现我分成三部分骨干网络、ASPP、解码器。骨干我默认用 ResNet-50因为在遥感分割里 ResNet-50 和 ResNet-101 的差距没有想象中大但训练速度差了不少。ResNet 去掉了最后的全局平均池化和全连接层只保留 conv 到 conv4 之间下采样 16 倍的特征作为 ASPP 的输入。这里的关键是设置 output_stride16把最后的 stride2 卷积改成空洞卷积让特征图分辨率不至于下来太快。ASPP 模块由 4 个并行分支组成一个 1x1 卷积三个 3x3 空洞卷积膨胀率我常用 6、12、18。另外还有一个全局平均池化分支把整张特征图池化到 1x1再经过 1x1 卷积和双线性插值恢复到原尺寸这个分支能提供全局上下文信息。四个分支的输出最后拼接在一起再过一个 1x1 卷积压缩通道数。这里有个容易被坑的点如果输入特征图的尺寸不是 16 的整数倍ASPP 里全局平均池化后插值恢复的尺寸会和其他分支不一致拼接时就会报错所以训练和推理阶段最好都保证输入尺寸是 16 的整数倍。解码器部分比较有趣。一般做法是把 ASPP 输出的 4 倍下采样特征先上采样两倍然后和骨干网络低层conv2 的输出做拼接。低层特征要先过一个 1x1 卷积降到 48 通道避免它喧宾夺主。拼接后再过两层 3x3 卷积最后上采样 4 倍恢复到输入尺寸。这一步对于改善边界细节非常重要也是 Deeplab V3 区别于 Deeplab V3 的核心改进。我刚开始实现时为了省显存把低层特征直接丢弃结果精度掉了好几个点边界糊得一塌糊涂。2.3 损失函数选择与类别不平衡语义分割最常用的损失是交叉熵但遥感数据集往往类别极度不平衡比如道路占几个百分点背景占大多数。我用的是交叉熵、Dice Loss、Focal Loss 三者的加权组合loss 0.6 * ce_loss 0.3 * dice_loss 0.1 * focal_lossDice Loss 对处理前景区域很小的目标很有效但纯用 Dice Loss 容易导致训练初期梯度不稳定所以只给它 0.3 的权重。Focal Loss 通过调整难易样本权重缓解类别不平衡但对遥感影像这种本身标注噪声较大的场景权重也不要太高。如果你的数据很干净可以把 focal 权重去掉交叉熵和 Dice 的组合就够了。我见过有人把三个损失直接设为 1:1:1结果训练时损失曲线异常跳动就是因为不同损失的量纲和梯度尺度差异太大。在计算 mIoU 时我还特别注意了 ignore_index 和边界类别的处理。如果标签里有些像素标注未知比如 -1 或者 255我会把这些像素在损失函数和指标计算时全部忽略否则指标会被拉低。很多框架默认没有这个逻辑所以实现时一定要自己检查一遍。另外多类别分割时 mIoU 计算要对每个类别独立计算后求平均不能把所有像素一锅端算 accuracy那样会被大面积类别主导掩盖小类别的真实表现。2.4 数据增强如何设计遥感分割的数据增强和自然图像类似但有一些原则。我常用翻转、旋转随机 90 度、尺度缩放0.8 到 1.2、亮度对比度扰动、高斯噪声。有两个地方要特别注意一是标签和影像必须使用完全相同的几何变换如果影像旋转了 90 度而标签没转模型会学到一堆错误对应关系二是颜色增强只作用于影像标签不变这个没问题但要注意遥感影像不同波段对亮度变化敏感增强太强会破坏地物的光谱特征所以幅度控制要保守一点。我通常把 brightness 扰动范围控制在 0.8 到 1.2 之间对比度控制在 0.9 到 1.1 之间。另外遥感影像经常有无效区域比如 NoData 黑边、多光谱的坏行、传感器拼接缝。这些区域在切片时最好直接剔除或者置为 ignore_index。否则模型会去学习拟合这些噪声区域导致真实地物边缘出现奇怪的预测。我专门写了一个函数统计每个切片中有效像素占比低于 70% 的切片直接丢弃这一招对提升训练稳定性非常明显。如果你手里有大范围的多光谱影像还要考虑是否做波段选择不是所有波段都必须参与训练冗余波段反而会增加计算量和噪声。3. 训练流程与实操记录3.1 实验环境与配置我的环境是 Ubuntu Python 3.8 PyTorch 1.12 CUDA 11.3单卡 RTX 3090。深度学习框架用 PyTorch 主要是因为调试方便、生态好遥感领域的很多预处理库像 rasterio、GDAL、OpenCV 都能和 torch 无缝配合。如果你用 TensorFlow代码逻辑类似但数据加载和损失函数要稍微改一改。依赖清单里我建议固定版本避免复现时出现莫名其妙的兼容性问题。requirements.txt 大致如下torch1.12.1 torchvision0.13.1 opencv-python4.6 numpy1.21 pillow9.0 rasterio1.3 tifffile2024.5.10 scikit-learn1.2 tqdm4.64这里强烈建议把 GDAL 单独装很多遥感影像文件直接读取时需要依赖 GDALpip 版本可能缺少底层库。在 Ubuntu 下可以用 conda 安装 gdal在 Windows 下用 conda-forge 会更稳妥。我一开始用 pip 装 gdal 失败了好几次后来用 conda install -c conda-forge gdal 一次搞定省了很多时间。3.2 数据切分与加载实现数据加载是整个流程里最容易出 bug 的部分。我的 dataset.py 核心逻辑是先读取影像和标签切片然后把切片路径和标签路径做成一一对应的清单训练时按批次随机采样。下面是我认为比较简洁的加载方式class RemoteSegDataset(Dataset): def __init__(self, img_dir, mask_dir, ids, transformNone): self.ids ids self.img_dir img_dir self.mask_dir mask_dir self.transform transform def __len__(self): return len(self.ids) def __getitem__(self, idx): name self.ids[idx] img cv2.imread(os.path.join(self.img_dir, name .png)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) mask cv2.imread(os.path.join(self.mask_dir, name _mask.png), cv2.IMREAD_UNCHANGED) if self.transform: img, mask self.transform(img, mask) return img, mask我特意用 cv2 读取而不是 PIL主要是因为遥感影像经常是多波段或 16 位深度PIL 会默认转成 8 位导致数据失真。如果你的输入是 uint16 的多光谱影像更建议用 rasterio 直接读取并单独做归一化处理。另一个小细节是 mask 读取时用 cv2.IMREAD_UNCHANGED这样才能保留原始深度和通道数否则灰度图会被读成三通道后续损失函数计算时维度不匹配。归一化这一块我常见的方法是计算训练集每个通道的均值和标准差然后做标准化。如果直接使用 ImageNet 的 mean/std对遥感影像来说不一定合适因为遥感影像的波段范围和自然图像差别很大。建议先写一个统计脚本把训练集所有切片像素的 mean 和 std 算出来再保存为 json 或者直接烧进配置里。这个细节对收敛速度和最终精度影响不小。我在 DeepGlobe 上统计出来的均值和 ImageNet 的均值差很多不重新统计的话模型很容易收敛到局部最优。3.3 训练参数与超参调优训练超参我一开始用 batch size 8、学习率 0.001、Adam optimizer效果并不理想Loss 降得很快但 mIoU 卡在 60% 左右。后来改用 poly 学习率衰减策略初始学习率 0.0001并配合 SGD momentum 0.9mIoU 明显上升。多试几轮后我发现 Adam 在这类分割任务上虽然收敛快但最终精度往往不如 SGDmomentum。当然这也不是绝对还是要以自己数据上的验证集为准。我的经验是如果你的数据量不大Adam高学习率很容易过拟合到训练集的噪声上SGDmomentum 配合 poly 学习率则更稳。我最终的训练配置大概是输入尺寸 512x512batch size 4初始学习率 0.0001weight decay 0.0001总 epoch 80前 5 个 epoch 做 warmup。每个 epoch 结束后在验证集上计算 mIoU 和 loss只保存最好的 checkpoints而不是每个 epoch 都存不然磁盘空间很快就满了。我还在训练日志里记录了每个类别的 IoU这样可以定位模型到底在哪些类别上表现差。一般我会用 tensorboard 记录 loss、mIoU、每个类别的 IoU以及一些可视化预测图这样调试时直观很多。训练过程中可以开启 AMP 混合精度显存占用能减少不少训练速度也能提升。但要注意遥感影像的标签有时值域比较大比如类别 id 到 255混合精度下计算交叉熵可能出数值问题需要把 logits 强制 float32 后再计算损失。我在代码里加了这样一个类型保护。用 AMP 时还需要小心几个算子不受支持导致的 OOM 或者报错建议从单个 epoch 开始实验确认无误再完整训练。3.4 推理与预测后处理推理阶段有几个和训练不同的细节。因为原始影像是大图直接整张喂给模型会显存爆掉所以推理时也要切块并且要保留重叠部分最后用加权平均把重叠区域的结果融合。我的做法是预测时同样切 512x512 的块overlap 50%对重叠区域取两次预测的软概率平均这样能明显减少拼接缝效应。如果只做简单拼接重叠区域会出现明显的条带尤其是地物边缘看起来非常不专业。预测后还要做一项很重要的工作把模型输出的各类别概率图转成最终标签图再另存为 PNG 或者 GeoJSON。如果希望输出结果能叠加到地理信息系统里最好写一个 export_geotiff 函数把标签图的坐标投影信息写入 GeoTIFF 文件。这一步看似简单但很多人会漏掉导致后续在 GIS 里无法对齐。我实现 predict.py 时专门用了 rasterio 的 CRS 和 transform 参数来写入地理信息。输出格式可以做成二值 PNG也可以用伪彩色渲染类别的 RGB 图两种都输出比较稳妥方便不同下游需求。推理时的 TTA测试时增强也可以提高一点精度比如对输入做水平翻转把翻转前后的预测结果平均回来。遥感图像对翻转的对称性相对自然图像略好一点所以 TTA 对遥感分割往往有效代价是推理时间翻倍。如果对实时性没有要求我建议至少开一个水平翻转 TTA。我实测在 DeepGlobe 上只开水平翻转 TTAmIoU 大概能提升 0.5 到 1 个百分点对于论文或竞赛刷点还是有帮助的。4. 常见问题与排查技巧4.1 训练不收敛、Loss 变大训练一开始 Loss 不降反升最常见的三个原因学习率太大、数据归一化错误、标签对应关系错了。先检查标签和影像是否对齐可以用 matplotlib 把一张影像和它的 mask 叠加显示出来肉眼看几个样本就能发现问题。再看数据集的 mean/std 是否统计正确别让像素值跑到 0-255 和 0-1 两种范围里。最后调低学习率如果还是不行把数据增强临时关掉排除增强噪声过大的因素。我遇到过一次 loss 变大的原因很简单标签图里有 NaN 值所有和它相关的样本梯度直接爆炸排查了很久才用 np.isnan 扫出问题。4.2 显存不足如何处理显存不足是分割项目的经典问题。方案按优先级排序减小 batch size、减小输入尺寸、开启混合精度、使用梯度累积。其中输入尺寸的影响最直接但也不宜太小否则小目标语义信息丢失。梯度累积可以在不减小有效 batch size 的前提下降低显存是个挺实用的技巧不过要注意每累积几步后再更新参数同时同步调整学习率或步数。我的习惯是先把输入尺寸固定为 512batch size 设为 2如果还 OOM 就开启 AMP最后才考虑降到 256 输入。因为输入尺寸对精度影响很大能维持的情况下尽量维持 512。4.3 预测结果边界粗糙、有小碎块边界粗糙通常和损失函数、后处理都有关系。损失函数层面可以适当提高 Dice Loss 的权重因为 Dice 对目标区域重叠度更敏感后处理层面可以加一个条件随机场CRF做边界平滑或者用形态学开闭运算去除小碎块。CRF 虽然能提升视觉上的完整度但会显著增加推理耗时如果只是做实验可以不上。我更推荐在训练时使用边界感知损失比如在标签里额外计算一张边界距离图把靠近边界的像素权重加大这样模型本身的边界表达能力会更强。这种损失在遥感建筑物分割里非常有效但需要额外标注边界图成本略高。4.4 指标类别不平衡造成假象只看整体 mIoU 或者整体 accuracy 很容易被数据分布骗。比如水体占了一个区域 80% 的像素模型把所有像素都预测成水体accuracy 照样很高但 mIoU 会很低。所以我在评估时要求打印每个类别的 IoU 和混淆矩阵特别关注小类别比如道路、裸地。如果某个类别 IoU 特别低建议单独看一下这类样本的预测结果判断是样本量不足、标注噪声还是特征本身难分。针对样本量不足可以采用类别加权采样让每个 batch 里小类别样本占比更高。也可以用 oversampling 复制小类别样本虽然容易过拟合但简单有效。4.5 复现不稳定我跑同一套代码和配置不同机器上结果可能会有波动。除了随机种子问题数据加载顺序、CUDA 版本、cuDNN 的算法选择都会影响。建议在训练入口固定 torch.manual_seed、np.random.seed、random.seed并把 torch.backends.cudnn.deterministic 设为 True。不过这个操作会降低训练速度日常调试时可以先不开启最后确定要复现的版本时再打开。如果你发现同一份代码在同一台机器上两次训练结果差异很大大概率是 DataLoader 的 num_workers 线程数导致的随机性固定种子也不一定完全消除这时可以尝试把 num_workers 调低或者设置 prefetch_factor。5. 工程化细节与个人体会这部分主要聊聊把实验代码变成可交付项目时的一些心得。我踩过很多坑后总结出三条经验文档一定要写、配置一定要隔离、数据变更一定要有记录。文档说明不要写成论文式的大段文字而应该包含快速开始、数据结构、模型选择、常见问题这些实用章节。尤其要把训练命令、推理命令、评估命令写清楚让一个没有参与这个项目的人也能跟着跑通。我在 docs/实验说明.md 里放了一份从零到一的操作步骤包括环境安装、下载数据、运行训练脚本、查看 tensorboard 曲线、导出预测结果。这样即使项目放三个月再回头也不会看不懂自己的代码。一个细节是文档里要写明每个脚本的输入输出路径和文件格式别人复现时会少走很多弯路。配置隔离要说的简单点训练参数、数据路径、类别映射、增强策略这些都应该放在 yaml 文件里而不是写死在代码中。我本来也嫌烦但后来发现写死在代码里的参数很容易被覆盖掉最后对比实验时根本说不清哪个版本用了什么超参。改成配置文件后每次实验只要拷贝一份 yaml 并修改注释实验记录非常清晰。你可以用 argparse 接收 config 路径然后在代码里用 yaml.safe_load 读取非常简单。最后是数据变更记录。遥感数据集的版本更新很频繁同一文件夹下可能既有旧切片又有新切片。处理时要在文件名或目录中带上日期或版本号同时维护一份 data_version 映射文件。这样一旦发现某次实验的结果异常可以快速定位是不是数据变化导致的。我在项目里专门写了一个 version.py记录每次数据处理的 sha256 哈希和文件数量运行训练前会打印当前数据版本非常实用。5.1 后续扩展建议这套代码的扩展方向至少有四个一是更换更强的主干网络比如把 ResNet 换成 EfficientNet 或者 Transformer 类骨干甚至用 SAM 大模型的标签辅助训练不过这会显著增加显存和训练成本二是把分割结果接入下游任务比如建筑物分割后做轮廓矢量化、道路分割后做拓扑修复这在遥感工程里非常有价值三是做增量学习随着新区域数据不断补充让模型在不忘记旧类别的前提下持续更新四是把模型蒸馏到轻量网络部署到无人机或边缘设备上这块我之后准备单独整理一篇因为涉及量化、int8、ONNX 导出等很多细节。如果你想快速验证自己的数据我建议先跑通 Unet再切换到 Deeplab V3不要一上来就两个模型同时调参。对比实验最关键的是控制变量除了模型结构其他所有配置保持一致。等两个基线都跑完再根据指标决定往哪个方向继续优化。如果你只打算用一个模型我的建议是数据量小、目标尺度相对统一的场景选 Unet目标尺度差异大、类别多、希望更强多尺度感知能力的场景选 Deeplab V3。我在实际使用中发现项目和模型本身不是难点真正难的是数据、训练和部署之间的衔接。尤其是从科研想法变成可复用代码的过程远比想象中要麻烦。我在这套代码里花了将近一半时间在写数据处理和结果导出真正写模型结构的时间其实不多。但正是这种工程上的耐心让最后跑实验和写报告变得异常顺利。最后再分享一个小技巧训练结束后不要只保存 best model 的权重把最后一次 epoch 的权重也留一份。有时候验证集上 best model 只是某个 epoch 的偶然结果最后一轮权重虽然在验证集上略低但泛化可能更好。把两个权重都放到同一目录下后续做推理对比非常方便。希望这篇文章里这些记录能帮你少走一些弯路如果你也在跑遥感图像语义分割欢迎交流具体的踩坑经历。本文还有配套的精品资源点击获取