. 扫推式成像 Push broom Imaging#在之前的 光谱融合中提到过现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。概括来说可以理解为相机里的二维传感器难以完整采集三维数据用来存储光谱信息就要丢失空间信息反之亦然。因此为了获取兼顾二者的图像便衍生了多种成像方式其中扫推式成像是目前在空间分辨率、光谱分辨率与采集效率之间最均衡、最主流的一种方案。其逻辑很简单一次只拍“一条线”但这条线里的每个像素都带有完整光谱信息,最后随着设备不断前进把一条条“光谱线”拼成完整三维数据立方体。图片来源此外在前沿领域也在研究快照式成像一种尝试利用压缩和编码技术从根本解决高光谱图像获取问题的研究方向。2.航带拼接获取高光谱图像#上面提到的扫推式成像需要设备不断移动早期搭载高光谱设备的是卫星或者科研飞机。但现在最常见的是无人机因为它大幅降低了高光谱门槛得益于其成本低更灵活这也是多数相关企业的选择。此外还有传送平台显微扫描平台等很多选择其关键就是产生相对运行实现“扫推”。以无人机为例只飞一次扫描得到一条数据我们就称之为单航带数据。这种数据前后一致性好、无需拼接、几何误差小但覆盖范围有限。因此当目标区域很大整片农田、整座城市时我们就会让一台无人机平行来回飞或者多台无人机并行扫描不同区域。现在每一次扫描结束都会得到一组单航带数据我们把多个航带拼起来就可以获得兼具光谱分辨率和空间分辨率的图像。图片来源但这种拼接不是直接让矩阵连接在一起那么简单这其中涉及大量细节。3. 拼接中的对齐问题#首先在获取多航带数据过程中航带之间通常不会完全贴边而是会故意保留一定重叠区域用于后续的配准、校正与拼接。而理想情况下最终得到的高光谱图像应描述的是同一时间、同一观测条件下的一片连续区域。但由于扫推式成像依赖平台运动逐线采集不同航带往往是在不同时间、不同姿态、不同光照条件下获得的因此在拼接过程中需要解决多个层面的对齐问题。3.1 几何对齐Geometric Alignment#由于飞行高度、平台姿态、速度变化以及 GPS / IMU 误差的存在不同航带之间可能出现平移、旋转、拉伸、透视形变等几何失配问题。图片来源3.2 辐射对齐Radiometric Alignment#不同航带往往并非在完全一致的观测条件下采集比如第一条航带在上午 10 点采集第二条采集完已经 10:20 了。这就会导致太阳高度角变化、云层遮挡、大气条件变化、曝光参数变化等等情况导致同一目标在不同航带中的整体亮度存在差异。因此即使空间位置已经对齐拼接后仍可能出现明显亮暗接缝。图片来源3.3 光谱对齐Spectral Alignment#相比普通图像高光谱数据更重要的是每个像素对应的完整光谱曲线。但由于传感器响应漂移、观测角变化或跨航带成像条件差异不同航带中同一目标的光谱曲线可能发生波段偏移、光谱形状变化、反射峰位置漂移等问题。这会进一步影响后续的地物分类、光谱匹配等下游任务。因此高光谱拼接不仅要求空间连续还要求跨航带光谱保持物理一致性。图片来源4. 高光谱拼接算法Hyperspectral Image Stitching/Mosaicking#最终高光谱拼接的结果直接影响整个高光谱立方体是否可信。很多后续高光谱算法 默认都假设输入数据已经是“空间连续且光谱一致”的。而这个前提正是拼接算法负责建立的其目标正是为后续分类、检测、反演等下游任务构建空间连续、辐射统一、光谱一致的高质量高光谱数据立方体。我们下载的很多公开数据集包括 Indian Pines、Pavia University、Salinas 等都已经进行了这些甚至更复杂的处理。而由于其任务属性专门用于拼接算法的公开数据集较少而且十分碎片化可以说基本没有统一的 benchmark但其涉及的领域、相关方法和模型又十分丰富。因此可以说是一个说不上人满为患但又绝对不算小众的研究方向其实难点在于数据获取本身以及“拼接没有标准答案”的问题上。