数据漂移与概念漂移检测|KS检验/PSI/ADWIN方法+突变/渐变/递增类型

📅 2026/7/27 23:27:31
数据漂移与概念漂移检测|KS检验/PSI/ADWIN方法+突变/渐变/递增类型
摘要:数据漂移与概念漂移检测:KS检验、PSI群体稳定性指数、ADWIN自适应窗口三种方法对比。数据漂移是输入分布变化,概念漂移是输入输出关系变化。本文详解突变型、渐变型、递增型三种漂移的检测方法和Python实现代码。一、漂移问题的本质机器学习的核心假设(以及为什么它会被打破): 训练时假设: ┌─────────────────────────────────────────┐ │ 训练数据的分布 ≈ 生产数据的分布 │ │ P_train(X, Y) ≈ P_prod(X, Y) │ └─────────────────────────────────────────┘ 现实世界: ┌─────────────────────────────────────────┐ │ 分布随时间变化:P_t1(X,Y) ≠ P_t2(X,Y) │ │ 模型知识固化在训练时 → 过时了 │ └─────────────────────────────────────────┘ 分布变化的两种形式: X的分布变了(但 Y|X 不变)→ 数据漂移(Data Drift) Y|X 的关系变了(即使 X 不变)→ 概念漂移(Concept Drift)二、数据漂移的四种类型数据漂移类型详解: ┌────────────────────────