013、去马赛克算法深度对比双线性、色比恒定、方向插值与深度学习方法的优劣去年在调试一款车载环视模组时遇到一个诡异现象白天停车场标线边缘全是彩色锯齿像打翻的调色盘。客户指着屏幕问“你这摄像头是不是坏了”我盯着RAW图看了半天sensor没坏镜头没脏问题出在去马赛克算法——默认的双线性插值在边缘处彻底翻车了。从那以后我对这个看似基础的模块再也不敢掉以轻心。去马赛克Demosaic是ISP pipeline里第一个真正意义上的“图像重建”步骤。Bayer pattern上每个像素只记录一种颜色另外两种颜色全靠猜。猜得好画面干净锐利猜得差伪色、锯齿、摩尔纹全来了。今天把这几年踩过的坑和对比过的算法掰开揉碎聊一聊。双线性插值最朴素的“平均主义”双线性插值的思路简单到令人发指要算G通道缺失值把周围四个G像素拉过来平均。R和B同理。代码写起来三五行跑起来飞快占用的硬件资源几乎可以忽略不计。但别高兴太早。我在调试一款低端安防IPC时用双线性插值拍室内白墙画面看着还行。一转到室外拍树枝边缘全是彩色条纹。为什么因为双线性假设颜色变化是连续的、平滑的但真实世界的边缘往往是突变的。平均操作把不同颜色的信息混在一起边缘处自然产生伪色。这里踩过坑双线性对纹理丰富的场景几乎必出伪色。如果你在调试低功耗设备资源实在紧张至少要在边缘检测后做一下后处理——比如检测到高频区域时改用其他插值策略。别指望双线性能扛住复杂场景它只适合拍纯色背景或者文字文档。色比恒定算法一个被低估的经典色比恒定Color Ratio Constancy算法的核心假设是在局部区域内不同颜色通道之间的比值是恒定的。也就是说如果知道某个像素的G值那么R和B可以通过周围像素的R/G、B/G比值来推算。这个思路比双线性聪明在哪它利用了颜色通道之间的相关性。人眼对亮度变化敏感对色度变化相对不敏感。色比恒定算法先插值G通道通常用更精细的方法然后利用G通道的完整信息去恢复R和B相当于用高分辨率信息去引导低分辨率通道的重建。我在调试手机前置摄像头时用过一种改进的色比恒定算法。具体做法是先对G通道做边缘保护插值比如用梯度方向判断然后对R和B通道做色比插值。效果比双线性好一大截伪色明显减少而且计算量只增加了一点点。别这样写不要直接拿原始Bayer图上的R/G比值去算。因为Bayer图上R和G的位置是错开的直接除会引入噪声。正确的做法是先对G做插值得到每个像素位置的G值再用原始R值除以对应位置的G插值得到色比图最后对色比图做插值。这个算法有个致命弱点当颜色比值在局部区域内不恒定时比如红绿交界处照样会出伪色。但相比双线性它已经前进了一大步。方向插值边缘保护的黄金标准方向插值Directional Interpolation是目前工业界应用最广的去马赛克方案。它的核心思想是先判断边缘方向然后沿着边缘方向做插值避免跨边缘平均。具体实现有很多变种我调试过的一种经典流程是对每个缺失的G像素计算水平方向和垂直方向的梯度如果水平梯度小说明边缘是垂直走向用水平方向的G像素插值如果垂直梯度小说明边缘是水平走向用垂直方向的G像素插值如果两个方向梯度接近说明是平坦区域用双线性这个流程看起来简单实际调试时坑很多。梯度计算窗口大小怎么选太大会模糊细节太小对噪声敏感。我在调试一款车载模组时遇到过夜间路灯下边缘全是闪烁伪色的问题最后发现是梯度阈值设得太死导致方向判断频繁切换。这里踩过坑方向插值最怕的是“方向误判”。一旦方向判断错误插值结果比双线性还差。建议在梯度计算时加入多尺度信息或者用中值滤波预处理梯度图。另外R和B通道的插值也要考虑方向性不能简单复用G通道的方向信息。方向插值还有一个进阶版本自适应方向插值。它不局限于水平和垂直两个方向而是考虑45度、135度甚至更多方向。计算量翻倍但效果提升有限除非你的场景有大量斜线纹理比如栅栏、楼梯。深度学习方法暴力美学还是过度设计深度学习去马赛克这几年火得一塌糊涂。从早期的简单CNN到后来的U-Net、GAN甚至Transformer都杀进来了。效果确实惊艳伪色几乎消失边缘锐利得像原生RGB。我在调试一款旗舰手机时试过用轻量级CNN模型替换传统方向插值。训练数据用的是室内外混合场景损失函数加了感知损失和对抗损失。结果在评测集上PSNR比方向插值高了2-3dB主观效果更是碾压。但别急着上深度学习。我踩过的坑说出来都是泪第一个坑泛化性。训练集里没有低照度场景模型在暗光下直接崩了伪色比双线性还严重。后来不得不重新采集数据加入各种极端场景。第二个坑实时性。手机ISP的算力有限一个轻量级模型跑下来帧率掉了30%。最后不得不做模型剪枝和量化精度又掉了一截。第三个坑调试难度。传统算法的参数调起来有迹可循梯度阈值、插值权重每个参数都有物理意义。深度学习模型是个黑盒出问题了不知道是数据问题、模型结构问题还是训练策略问题。别这样写不要以为深度学习能解决所有问题。如果你的产品对实时性要求极高比如车载ADAS或者算力受限比如低端安防传统算法仍然是更稳妥的选择。深度学习更适合旗舰机型或者云端后处理。我的个人经验建议不要迷信任何一种算法。双线性有它的适用场景低功耗、低分辨率方向插值是万金油大部分场景都能打深度学习是锦上添花旗舰机型、高端安防。选算法之前先搞清楚你的产品定位和算力预算。去马赛克和降噪要联动调试。很多伪色其实是噪声引起的。先降噪再去马赛克或者在做方向插值时加入噪声自适应权重效果比单独调任何一个模块都好。我在调试车载模组时把降噪和去马赛克放在同一个模块里调伪色减少了40%。边缘检测是核心。无论用哪种算法边缘检测的准确性直接决定去马赛克效果。建议在梯度计算前做一下简单的去噪比如双边滤波梯度计算窗口大小根据分辨率自适应1080p用5x54K用7x7。后处理不能省。即使用了最好的去马赛克算法伪色也不可能完全消除。加一个简单的伪色抑制后处理比如中值滤波色差图成本极低效果立竿见影。调试时用极端场景验证。别只拍标准色卡和室内场景。去拍树枝、铁丝网、彩色条纹、低照度下的彩色灯光。这些场景才是去马赛克算法的照妖镜。最后说一句去马赛克算法没有银弹。我见过用双线性调出惊艳效果的团队也见过用深度学习调出一堆bug的团队。关键在于理解算法的假设和局限然后根据你的场景做针对性优化。这行当经验比理论值钱。