文章目录1. 先说常见卡点2. 结论先行3. 为什么特征工程经常更关键3.1 模型只能学习你喂给它的表示3.2 很多效果差距来自表示质量而不是算法名3.3 换模型成本不低但未必先解决真问题4. 一个贯穿例子交易风险识别4.1 只换模型时会发生什么4.2 先做特征工程时变化通常更直接5. 最容易被忽视的几类问题5.1 数值尺度问题5.2 把类别当成普通数字5.3 缺失值处理过于随意5.4 泄漏5.5 该构造的派生特征没构造6. 换模型之前先过这张检查表7. 什么时候换模型是合理的8. 一个更稳妥的项目顺序9. 常见误区9.1 以为特征工程就是无限加字段9.2 以为树模型不需要特征处理9.3 离线很好看就默认特征没问题9.4 一有瓶颈就换更大模型10. 关键术语速查11. 小结12. 后续内容摘要很多分类或预测项目里第一反应往往是换更强的模型。但实际推进时提升更明显的常常来自把输入特征处理对。本文从项目决策角度说明特征工程解决的是什么问题、哪些环节最容易被忽视、什么时候才值得换模型。适合做过基础建模、却总觉得效果卡在瓶颈上的读者。读完应能判断当前项目该先改特征还是先换模型。说明本文侧重选型与经验判断不展开成完整特征工程手册。数值特征、类别特征的具体处理方法可结合更系统的专题文章一起看。1. 先说常见卡点一个很典型的项目过程是这样的先用逻辑回归或树模型跑通基线指标不够好看开始换模型XGBoost、随机森林、神经网络指标有一点点波动但整体还是上不去这时很多人会觉得是不是模型还不够强。更常见的情况其实是模型已经在尽力学了但它吃进去的信号本身就不清楚。模型再强也很难从混乱、泄漏、尺度错乱、语义不明的输入里稳定学出好规律。图1. 原始数据到指标之间特征这一层往往决定模型上限。2. 结论先行如果只想先拿结论可以先记住这几句换模型改的是学习器特征工程改的是学习器能看到的世界。输入信号弱时换模型通常只能带来有限波动把特征做对往往直接抬高上限。特征工程不是堆更多列而是让对业务有意义的信息以模型更容易学习的方式进入训练。模型该换但通常排在特征质量过关之后。再压缩成一句多数项目里先问特征有没有把关键信息表达清楚再问模型够不够强。3. 为什么特征工程经常更关键3.1 模型只能学习你喂给它的表示模型不会直接理解业务对象。它看到的是特征向量数值、类别编码、缺失标记、交叉组合后的结果。所以特征里没有有效信号模型学不到特征里噪声很大模型容易学偏特征里混进未来信息模型会虚高换模型改变的是拟合方式不改变输入里有没有真正可学的信息。3.2 很多效果差距来自表示质量而不是算法名同样一份交易数据A 方案直接把原始金额、时间戳、商户 ID 丢进去B 方案做成金额分桶、小时段、是否夜间、历史频次、金额偏离度两者即使用同一个模型结果也常常差一截。差的不是算法海报上的名字而是同样的原始事实有没有被组织成更稳定、更可分的信号。3.3 换模型成本不低但未必先解决真问题换模型通常意味着重新调参重新处理训练稳定性重新评估上线复杂度重新解释业务可接受性如果根因是特征尺度混乱、类别编码错误、缺失乱填、标签泄漏这些成本往往花得不值。图2. 输入信号不变时换模型的天花板通常有限先把特征做对模型才有更大发挥空间。4. 一个贯穿例子交易风险识别假设任务是识别可疑交易。原始字段可能包括交易金额交易时间商户类别用户历史成交次数设备类型是否异地4.1 只换模型时会发生什么如果直接把这些字段简单编码后喂进去再从逻辑回归换到更复杂的树模型你可能会看到训练集更漂亮一点验证集略有波动线上误报和漏检结构没有本质变化因为模型面对的可能仍是这些问题金额跨度极大少数大额交易主导学习时间戳没有转成小时、工作日、夜间等可分特征商户类别基数很高编码方式不合适某些统计特征其实用到了当前交易之后才知道的信息4.2 先做特征工程时变化通常更直接更有效的动作往往是对金额做分桶或对数变换降低极端值冲击把时间拆成时段、是否周末、是否夜间为用户和商户构造历史频次、历史均值偏离检查这些统计是否严格只用过去信息明确类别特征编码方式而不是随手 label encode很多时候同一套树模型在这些改动后召回和精确的权衡会清晰很多。原因很简单你不是让模型凭空变聪明而是把业务里真正有判别力的模式提前表达出来了。5. 最容易被忽视的几类问题5.1 数值尺度问题不同特征量纲差几个数量级时线性模型和距离类方法很容易被大尺度特征带偏。即使是树模型极端长尾也会让切分变得不稳定。5.2 把类别当成普通数字商户编号、城市编码、设备编码看起来是数字但通常没有大小语义。直接当连续值训练模型会学到并不存在的顺序关系。5.3 缺失值处理过于随意统一填 0、统一填均值表面上能跑通实际上可能把“缺失”这个信号本身抹掉或者引入不合理分布。5.4 泄漏这是最伤的一类问题。例如用到了审核完成后才产生的字段用到了包含未来信息的聚合统计用到了和标签近乎一一对应的中间结果这类特征会让离线指标很好看上线后迅速掉下来。5.5 该构造的派生特征没构造很多有效信号不是原始字段本身而是字段之间的关系比例差值分桶历史对比交叉组合只盯原始列等于把表示工作全丢给模型。图3. 真正拖后腿的往往不是“没用上最新模型”而是这些基础表示问题没处理干净。6. 换模型之前先过这张检查表检查项你要问自己的问题如果答案是否定的特征可解释性这个特征为什么可能有用先回到业务不要盲目堆列类型是否正确数值和类别有没有分开处理先修正表示再谈模型缺失是否合理缺失是随机的还是本身有含义重新设计填补或保留缺失标记有无泄漏训练时是否用到了未来或标签相关信息立刻删掉或重建特征派生特征是否做过比例、分桶、历史统计试过没有先做低成本派生再换复杂模型指标是否匹配业务你优化的是召回、精确还是别的先对齐指标再比较模型图4. 与其连续换算法不如先确认输入特征和评估目标是否站得住。7. 什么时候换模型是合理的强调特征工程不是说模型永远不重要。在这些情况下换模型通常更合理特征质量已经比较稳定泄漏和尺度问题基本处理完错误案例分析显示模型容量或拟合方式确实成为瓶颈你需要更好的概率校准、排序能力或更强的非线性拟合线上约束允许更复杂模型的推理成本和维护成本即使如此顺序仍然建议是先保证特征与标签干净再在同一套特征上比较模型。否则你很难分清提升到底来自算法还是来自你同时改掉的数据处理。图5. 模型升级有价值但前提通常是特征层已经不是主要短板。8. 一个更稳妥的项目顺序如果现在就要推进一个分类或预测项目可以用这个顺序先定义业务指标和错误代价摸清数据分布、缺失、异常和类别不平衡做出第一版可解释特征用简单模型建立基线根据错误案例改进特征特征相对稳定后再比较更强模型最后做阈值、校准和上线约束这个顺序的好处是每一步都知道自己在优化什么不容易把数据处理问题和模型问题混在一起出了问题更好定位9. 常见误区9.1 以为特征工程就是无限加字段不是。无效特征增加的是噪声、共线性和维护成本。好的特征工程往往是少而准。9.2 以为树模型不需要特征处理树模型对尺度更不敏感不等于对泄漏、错误类别编码、无意义编号、脏缺失都不敏感。9.3 离线很好看就默认特征没问题恰恰相反离线异常好看时更要优先排查泄漏和评估方式问题。9.4 一有瓶颈就换更大模型这会让项目进入高成本试错。很多时候先修 3 个关键特征比连夜换两套框架更有效。10. 关键术语速查术语含义特征工程把原始数据转成模型更易学习的输入表示特征向量单条样本对应的一组特征值派生特征由原始字段计算得到的新特征如比例、分桶泄漏训练时使用了不应在预测时刻获得的信息类别特征取值表示类别归属通常没有数值大小语义基线模型用于建立初始效果参照的简单模型11. 小结做机器学习项目时模型当然重要但很多瓶颈并不在模型名字上。更常见的情况是输入没有把关键信号表达清楚噪声、缺失、编码和泄漏问题还在业务上有用的派生信息还没进模型所以一个更稳妥的判断是先把特征工程当作提高上限的主手段把换模型当作特征质量过关后的增强手段。如果你当前项目卡在“怎么换模型都不明显”优先回去检查特征通常比继续堆算法更划算。12. 后续内容如果后面继续写相关主题可以再展开类别不平衡时评估指标和采样策略怎么配合怎样系统排查特征泄漏如果这篇对你排项目优先级有帮助欢迎点赞、收藏也欢迎关注后续更新。