133、神经渲染与AI RAW:从RAW域到sRGB的端到端学习

📅 2026/7/26 12:34:45
133、神经渲染与AI RAW:从RAW域到sRGB的端到端学习
133、神经渲染与AI RAW:从RAW域到sRGB的端到端学习去年在调试某款旗舰手机的主摄时,遇到一个让人头疼的问题——夜景模式下,暗部细节虽然保留得不错,但色彩总是偏紫,而且高光边缘有诡异的“水彩感”。ISP的3A统计跑了几十版,降噪强度从0调到100,甚至把去马赛克算法换成了自适应方向插值,问题依旧。后来团队里一位做AI的同事说:“要不试试端到端?从RAW直接出sRGB。”当时我第一反应是“这玩意儿能稳定吗?”结果试了一版,偏紫消失了,高光边缘的伪影也没了。从那以后,我开始认真研究神经渲染与AI RAW这条路线。RAW域为什么值得“端到端”传统ISP管线是分模块的:黑电平校正、去马赛克、白平衡、色彩校正、伽马校正、降噪、锐化……每个模块独立优化,参数靠工程师手动调。问题在于,这些模块之间存在耦合。比如降噪太强会抹掉纹理,锐化太强会放大噪声,白平衡偏了后期色彩校正也救不回来。每个模块的“最优”叠加起来,往往不是全局最优。RAW域的数据是线性的,没有经过任何非线性映射,信息量最大。AI RAW的思路就是用一个神经网络,直接从RAW数据映射到sRGB图像,跳过所有传统ISP模块。这相当于让网络自己去学习整个成像过程的逆过程——从传感器响应到人眼感知的色彩空间转换。网络架构:不是简单的U-Net很多人以为AI RAW就是拿个U-Net塞进去训练。实际落地时你会发现,RAW数据有特殊的结构。Bayer阵列的RAW是4通道(RGGB)或者更复杂的排列,直接当成单通道图输