034、宽动态范围HDR技术多帧融合、DOL-HDR与staggered HDR的优劣与调试去年在调试某款旗舰手机的后置主摄时遇到一个让人抓狂的问题白天逆光场景下人脸要么死黑要么过曝HDR开启后画面边缘出现诡异的鬼影像是有人把两张照片叠在一起没对齐。客户那边反馈说“这HDR还不如不开”产品经理天天追着问什么时候能fix。我花了整整两周时间从sensor驱动一路查到ISP的tone mapping模块最后发现是DOL-HDR的曝光时序和OIS的配合出了问题——这个坑今天必须写出来。从真实场景说起为什么HDR这么难调先说说HDR到底在解决什么问题。sensor的动态范围通常只有60-70dB而真实世界的亮度跨度动辄120dB以上。你站在窗户边拍人窗外是10000lux的蓝天人脸只有50luxsensor的ADC就那么几个bit要么窗外过曝成一片白要么人脸欠曝成剪影。HDR的本质就是用有限的硬件能力去模拟更大的动态范围。但问题在于任何HDR方案都是在“作弊”——用时间换动态范围或者用空间换动态范围。作弊就会留下痕迹这就是我们调试时遇到的所有问题的根源。多帧融合HDR最朴素的方案坑也最多多帧融合是最早的HDR方案原理简单连续拍三张不同曝光时间的帧短曝、中曝、长曝然后通过ISP的融合算法合成一张高动态范围的图像。优点很明显实现简单不需要特殊的sensor硬件支持任何sensor都能做。而且因为三帧是独立采集的每帧的曝光时间可以灵活调整理论上动态范围扩展最大。但坑多到让人想骂娘第一个坑是运动鬼影。拍三帧需要时间哪怕间隔只有几毫秒手抖或者物体移动都会导致三帧之间内容不对齐。你拍一个正在走路的人短曝帧里脚在A位置长曝帧里脚已经到B位置了融合出来就是半透明的鬼影脚。我见过最离谱的案例是拍旋转的风扇融合后风扇叶片变成了一个模糊的圆盘。第二个坑是噪声不一致。长曝帧噪声低短曝帧噪声高融合时如果权重分配不好暗部区域会出现明显的噪声突变。有次调试夜景HDR天空部分出现了类似“水波纹”的噪声条纹查了两天才发现是长曝帧和短曝帧的噪声特性差异太大融合算法没处理好。第三个坑是带宽和功耗。三帧全分辨率输出数据量是普通模式的3倍ISP的处理压力剧增。在低端平台上多帧HDR会导致预览帧率直接掉到15fps用户体验极差。调试经验多帧HDR的关键在于运动检测和融合权重。运动检测要区分“可接受的运动”比如树叶晃动和“不可接受的运动”比如人脸移动前者可以保留部分细节后者必须做防鬼影处理。我常用的做法是在ISP的motion detection模块里设置两个阈值低阈值用于检测微小运动只调整融合权重高阈值用于检测大运动直接切换到单帧模式。这个阈值需要根据场景反复调没有通用值。DOL-HDRsensor层面的“时间分片”DOLDigital OverlapHDR是sensor厂商为了解决多帧融合的时序问题提出的方案。它的核心思想是在单帧曝光时间内sensor内部完成多次曝光然后一次性读出。具体怎么做的sensor的像素阵列被分成若干组每组对应不同的曝光时间。比如一组曝光1/30s另一组曝光1/120s还有一组曝光1/480s。这些曝光是同时开始的但结束时间不同。读出时sensor把三组数据打包成一帧输出。优点因为三组曝光是同时进行的运动鬼影问题大大缓解。而且数据量只有一帧带宽和功耗比多帧融合低很多。但DOL-HDR有自己的死穴第一个问题是空间分辨率损失。因为像素被分成了不同的曝光组每组只能使用一部分像素导致有效分辨率下降。比如三组曝光各占1/3像素那么短曝帧的分辨率只有原来的1/3。虽然ISP可以通过插值恢复但细节损失是不可避免的。我调过一款DOL-HDR的sensor在低光场景下暗部区域的纹理细节明显比普通模式差客户一眼就看出来了。第二个问题是读出噪声。DOL-HDR的读出时序比较复杂不同曝光组的像素读出时间不同导致读出噪声不一致。特别是在高增益场景下短曝组的读出噪声会明显高于长曝组融合后出现“网格状”噪声。这个现象在暗光HDR场景下特别明显我花了很长时间才通过调整读出时序和增益匹配来缓解。第三个问题是动态范围受限。因为每组曝光时间是在sensor内部固定的不能像多帧融合那样灵活调整。如果场景的亮度跨度特别大固定曝光组合可能无法覆盖全部动态范围。调试经验DOL-HDR的调试重点在曝光分组和读出时序。曝光分组要根据sensor的线性度来设计确保每组曝光都在sensor的线性响应区间内。读出时序要特别注意不同组之间的读出延迟这个延迟会导致运动物体在不同组之间出现位置偏移虽然比多帧融合小但依然存在。我常用的方法是把读出延迟控制在1行以内超过这个值就需要做运动补偿。Staggered HDRDOL的进化版但更复杂Staggered HDR是DOL-HDR的改进方案它解决了DOL的空间分辨率损失问题。原理是sensor不分组像素而是让所有像素都参与所有曝光但通过控制复位时序实现“交错曝光”。具体实现sensor的像素阵列被分成若干行组每组行在不同的时间点复位和读出。比如第一组行先复位曝光一段时间后读出第二组行在第一组行读出后才复位曝光时间更短。这样所有像素都参与了所有曝光只是曝光时间不同。优点没有空间分辨率损失所有像素都能输出全分辨率数据。而且因为曝光是交错的运动鬼影比DOL-HDR更小。但Staggered HDR的复杂度让人头疼第一个问题是控制逻辑极其复杂。需要精确控制每行组的复位和读出时序稍有偏差就会导致曝光时间不一致。我调试过一款Staggered HDR的sensor发现暗部区域出现“条纹状”亮度不均查了三天才发现是某组行的复位时序比设计值晚了2个像素时钟。第二个问题是读出带宽压力大。虽然所有像素都参与了曝光但读出时还是需要分多次读出数据量比普通模式大很多。在4K分辨率下Staggered HDR的读出带宽可能达到普通模式的3倍对MIPI接口和ISP都是考验。第三个问题是HDR合成算法复杂。因为不同行组的曝光时间不同合成时需要做行级别的对齐和融合计算量比DOL-HDR大得多。在低端平台上Staggered HDR的合成延迟可能导致预览卡顿。调试经验Staggered HDR的调试核心是时序校准。需要测量每行组的实际曝光时间确保与设计值一致。我常用的方法是写一个测试pattern通过分析输出图像的亮度分布来反推曝光时序。另外合成算法要特别注意行组之间的边界处理否则会出现“拼接缝”。我一般会在边界处做2-3个像素的渐变融合效果会好很多。三种方案的对比与选择动态范围多帧融合 Staggered HDR DOL-HDR。多帧融合可以灵活调整曝光时间理论上动态范围最大Staggered HDR受限于行组曝光时间的差异动态范围略小DOL-HDR因为像素分组动态范围最小。运动鬼影Staggered HDR DOL-HDR 多帧融合。Staggered HDR的曝光是交错的运动鬼影最小DOL-HDR虽然同时曝光但读出延迟会导致微小鬼影多帧融合的鬼影问题最严重。分辨率损失多帧融合 Staggered HDR DOL-HDR。多帧融合和Staggered HDR没有分辨率损失DOL-HDR有像素分组导致的分辨率下降。实现复杂度Staggered HDR DOL-HDR 多帧融合。Staggered HDR的时序控制和合成算法最复杂DOL-HDR次之多帧融合最简单。功耗和带宽多帧融合 Staggered HDR DOL-HDR。多帧融合需要处理多帧数据功耗和带宽最大Staggered HDR虽然数据量大但可以通过优化读出时序降低功耗DOL-HDR数据量最小功耗最低。我的选择建议旗舰手机主摄Staggered HDR画质最好运动鬼影最小但需要强大的ISP和算法支持。中端手机主摄DOL-HDR平衡画质和功耗分辨率损失可以通过算法补偿。安防监控多帧融合因为场景相对静态运动鬼影问题不突出而且成本低。车载摄像头DOL-HDR或Staggered HDR因为车载场景运动速度快多帧融合的鬼影问题无法接受。调试中的那些坑坑1HDR和OIS的冲突。OIS在HDR模式下会引入额外的运动导致多帧融合的鬼影问题加剧。我遇到过的情况是OIS在长曝帧和短曝帧之间移动了镜头导致两帧的图像内容不对齐。解决方案是让OIS在HDR模式下降低响应速度或者让ISP根据OIS的位移数据做运动补偿。坑2HDR和AWB的配合。HDR融合后的图像色温可能会偏移因为不同曝光帧的AWB增益不同。我调试时发现HDR开启后白平衡明显偏暖原因是长曝帧的AWB增益被错误地应用到了短曝帧上。解决方案是在HDR合成前先对每帧做独立的AWB校正或者让AWB模块感知HDR模式。坑3HDR和降噪的优先级。是先做HDR融合再做降噪还是先降噪再融合我试过两种方案先融合后降噪噪声会被融合算法放大先降噪后融合细节损失严重。最终我选择了“分区域处理”——暗部区域先降噪再融合亮部区域先融合再降噪效果最好。坑4HDR的tone mapping。HDR融合后的图像是线性数据需要做tone mapping才能显示。tone mapping的参数直接影响最终效果压缩太狠画面发灰压缩不够高光过曝。我一般会根据场景的亮度分布动态调整tone mapping曲线而不是用固定参数。个人经验性建议不要迷信任何一种方案。没有完美的HDR方案只有适合场景的方案。在调试前先搞清楚产品的目标场景是拍人像多还是拍风景多是静态场景多还是运动场景多根据场景选择方案而不是根据参数选择方案。HDR调试是一个系统工程。不要只盯着sensor或者ISP要关注整个pipeline的配合。OIS、AWB、降噪、tone mapping每个模块都可能成为HDR的瓶颈。我见过太多团队把HDR调不好归咎于sensor结果换了sensor问题依旧。建立HDR调试的量化指标。不要只靠主观评价要建立客观指标动态范围dB、运动鬼影面积像素数、噪声水平SNR、分辨率损失MTF。这些指标可以帮助你快速定位问题而不是靠肉眼猜。HDR的调试工具很重要。我常用的工具包括亮度分布直方图看动态范围是否覆盖、运动检测热力图看鬼影区域、帧差分析看对齐精度。没有这些工具调试就像盲人摸象。最后也是最重要的HDR不是万能的。有些场景比如大逆光加快速运动任何HDR方案都救不了。这时候不如直接放弃HDR用单帧加后期处理效果可能更好。不要为了HDR而HDR用户体验才是最终目标。写到这里想起当年那个逆光鬼影的问题最后是怎么解决的其实很简单在HDR模式下关闭OIS让ISP根据陀螺仪数据做电子防抖。虽然防抖效果差了一点但鬼影问题彻底解决了。有时候解决问题的方法就是这么简单只是我们想复杂了。