034、全局快门与卷帘快门应用场景选择与运动伪影消除去年夏天我在产线调试一款工业扫码相机客户反馈说流水线上的药盒二维码总是读不出来。我盯着抓拍到的图像看了半天——二维码像是被“撕裂”了上半截和下半截对不上。产线速度才2米/秒按理说不该这么惨。后来查了传感器规格书发现用的是卷帘快门逐行曝光的时间差刚好撞上了药盒移动的速度。换了一颗全局快门的传感器问题秒解。这就是快门类型选错的下场。卷帘快门逐行扫描的“时间差”陷阱卷帘快门的曝光方式说白了就是传感器从上到下逐行“扫”过去。每行开始曝光的时间点不一样最后一行曝光结束的时间比第一行晚了整整一帧的时间。这个“时间差”在静态场景下毫无存在感一旦画面里有快速运动的物体或者相机本身在运动问题就来了。运动伪影的典型表现高速运动的汽车拍出来像被“拉长”了车头还在左边车尾已经跑到右边旋转的风扇叶片变成扭曲的弧线甚至出现“倒转”的错觉手机拍LED屏幕时出现明暗条纹那是卷帘快门和屏幕刷新率打架的结果我在调试车载环视系统时踩过一个大坑。用卷帘快门传感器做360°全景拼接车辆低速转弯时四个摄像头拍到的画面在拼接处出现明显的“错位”——因为每个摄像头曝光的时间点不同同一个物体在相邻画面里的位置对不上。后来换成全局快门拼接的鬼影问题直接消失。卷帘快门的优势像素密度高、成本低、暗光性能好。手机摄像头几乎全是卷帘快门因为用户拍静态场景多而且算法可以补救运动伪影。全局快门所有像素“同时开枪”全局快门让所有像素在同一时刻开始曝光同时结束。没有时间差运动物体拍出来就是“冻结”的瞬间。代价是什么每个像素需要额外的存储单元来暂存电荷导致像素尺寸变大、填充因子下降暗光下的信噪比不如同代工艺的卷帘快门。全局快门的硬伤相同工艺下全局快门的像素尺寸比卷帘快门大30%-50%读出噪声更高暗光画质不如卷帘快门成本贵大尺寸传感器尤其明显但有些场景全局快门是唯一选择。工业视觉里检测高速运动的零件全局快门是标配。车载摄像头做ADAS功能比如自动紧急制动必须用全局快门——你不想因为卷帘快门的“时间差”导致系统误判障碍物的真实位置。应用场景选择别让架构师背锅我见过太多项目因为选错快门类型导致返工。给你一个实战判断框架必须用全局快门的场景运动物体需要精确测量尺寸或位置工业视觉、双目测距高速运动物体的特征识别车牌识别、运动目标检测多相机同步拍摄3D重建、全景拼接闪光灯同步拍摄医疗内窥镜、工业检测卷帘快门可以接受的场景静态场景为主安防监控、手机拍照运动速度较慢或者运动伪影可以通过算法补偿手机视频防抖对成本敏感、对画质要求高消费级相机需要谨慎评估的场景车载环视系统低速场景卷帘快门勉强能用但高速场景必须全局快门无人机航拍卷帘快门会导致“果冻效应”画面像果冻一样抖动但全局快门传感器又太重运动伪影消除算法能救多少如果你已经用了卷帘快门或者必须用卷帘快门算法可以做一些补救。但别指望算法能完美解决——物理限制摆在那里。卷帘快门伪影校正的常用方法基于运动估计的校正通过光流法估计每行的运动偏移然后反向补偿。这个方法对刚体运动效果还行对非刚体运动比如人脸表情变化基本没用滚动校正利用IMU数据估计相机运动对每行图像进行几何校正。我在手机防抖算法里用过效果不错但需要IMU和传感器的精确时间同步多帧融合连续拍多帧取运动伪影最小的区域合成。代价是帧率下降而且对快速运动不友好全局快门伪影校正全局快门本身没有运动伪影但会引入“卷帘效应”的另一种形式——如果曝光时间太长运动物体会出现运动模糊。这时候需要用去模糊算法或者缩短曝光时间、提高增益。实战经验选型时的三个坑坑一只看分辨率不看快门类型。有人选传感器只看像素数结果买了高分辨率卷帘快门去做运动检测调试三个月搞不定。记住分辨率越高卷帘快门的“时间差”问题越严重——因为行数多了第一行和最后一行的曝光时间差更大。坑二忽略读出速度。同样是卷帘快门读出速度快的传感器比如支持高速帧率的可以减轻运动伪影。读出速度慢的卷帘快门拍个走路的人都会变形。选型时一定要看传感器的读出时间参数。坑三全局快门暗光性能差就放弃。全局快门在暗光下确实不如卷帘快门但可以通过以下方式弥补用大像素尺寸的全局快门传感器比如3.0μm以上配合高灵敏度镜头大光圈用多帧降噪算法加补光灯工业场景常用个人经验性建议别在选型阶段省那点成本。全局快门比卷帘快门贵20%-30%但如果你的产品因为运动伪影被客户退货损失是几十倍。我见过一个做智能门锁的团队为了省5块钱成本选了卷帘快门结果人脸识别在用户快速转头时经常失败最后全部召回换传感器。如果你做的是消费级产品卷帘快门配合算法优化是主流方案。但如果你做的是工业、车载、医疗这类对可靠性要求高的产品直接上全局快门别犹豫。最后说一句别被供应商的“卷帘快门也能做运动补偿”忽悠了。算法能补偿的是规律性运动比如匀速直线运动。但真实场景里的运动是随机的、非刚体的算法根本救不了。物理层面的问题最终还是要靠物理方案解决。