113、超分模型轻量化：知识蒸馏与剪枝在实时应用中的实践上周在调试一个移动端超分模型时，我盯着手机屏幕上的实时预览画面，心里直骂娘。模型跑起来了，但帧率只有可怜的8fps，而且手机烫得能煎鸡蛋。客户要求至少30fps，功耗还得控制在500mW以内。我当时的表情大概就是那种“你tm在逗我”的经典表情包。这种场景在超分落地时太常见了。学术界发论文，RCAN、SwinIR这些大模型刷榜刷得飞起，但到了实际部署，你试试把EDSR塞进手机里？别说手机了，连树莓派都跑不动。今天这篇笔记，我就把过去半年在模型轻量化上踩过的坑、试过的招，以及最终在实时场景下跑通的经验，全抖出来。从“剪枝”这个坑开始说起很多人一上来就想着剪枝，觉得把参数砍掉一半，速度自然翻倍。天真。我第一次剪EDSR时，直接按幅度剪了50%的通道，结果重建出来的图像全是马赛克，PSNR掉了3个dB。后来才明白，剪枝不是砍柴，得讲究策略。结构剪枝里最实用的其实是通道剪枝，但关键在“怎么剪”。我试过L1范数剪枝——就是算每个通道的权重绝对值之和，砍掉最小的那些。结果发现，这方法在超分模型上效果很差，因为超分模型的通道重要性高度依赖输入内容，静态剪枝容易误伤。后来换成了基于BN层缩放因子的剪枝。具体做法是在每个卷积后面插一个BN层，训练时给缩放因子加L1正则，让不重要的通道的gamma值趋近于0。剪枝时直接砍掉gamma小于阈值的通道。这里有个坑：别把阈值设成全局固定值。我一开始设了0.01，