063、ISP的AI化改造:端侧神经网络替代传统模块

📅 2026/7/19 16:24:10
063、ISP的AI化改造:端侧神经网络替代传统模块
063、ISP的AI化改造:端侧神经网络替代传统模块去年夏天,我在调试一款车载环视系统的夜间成像时,遇到了一个让人抓狂的问题。传统ISP的3A算法在低照度场景下频繁失效——自动白平衡把路灯下的柏油路面调成了紫红色,自动曝光在车辆进出隧道时来回震荡,降噪模块把行人轮廓磨成了模糊的色块。更麻烦的是,这些模块的调参空间相互耦合:你调了降噪强度,自动白平衡的色温估计就漂了;你改了曝光目标亮度,自动对焦的对比度检测就乱了。这种“牵一发而动全身”的调试体验,让我在产线连续熬了三个通宵。后来我意识到,传统ISP的模块化架构虽然清晰,但每个模块都是基于固定物理模型的“盲人摸象”——自动白平衡假设光源是普朗克黑体,自动曝光假设场景亮度均匀,降噪假设噪声是高斯分布。现实世界的复杂光照、纹理和运动,远远超出了这些假设的覆盖范围。端侧神经网络的介入,本质上是在打破这些假设,让ISP学会“看”场景,而不是“算”场景。为什么传统模块到了天花板先说说自动白平衡(AWB)。传统方法依赖灰度世界或完美反射模型,核心是统计全图的R/G、B/G比值。但遇到大面积单色物体(比如红色跑车、绿色草坪),统计结果就会严重偏离真实色温。我见过一个极端案例:某款手机在拍摄红色消防栓时,AWB硬是把红色调成了粉色,因为算法认为“画面太红了,肯定是色温偏暖,要补偿”。自动曝光(AE)的问题更隐蔽。传统AE用直方图统计或平均亮度,配合权重矩阵来估计场景亮度。但夜间场景中,路灯区域和阴影区域的亮度差可能超过100倍,平均亮度法会把暗部压死,亮部过曝。更麻烦的是,AE和AWB之间存在隐式耦合:曝光时间变了