Python 数据清洗实战——缺失值、异常值、重复值处理
实际数据很少是干净的缺失值、异常值、重复值都需要处理。这篇用 pandas 把这三种情况说清楚。一、缺失值处理importpandasaspdimportnumpyasnp# 查看缺失值print(df.isnull().sum())# 删除缺失值df.dropna(subset[姓名],inplaceTrue)# 填充缺失值df[年龄].fillna(df[年龄].mean(),inplaceTrue)# 均值填充df[工资].fillna(df[工资].median(),inplaceTrue)# 中位数填充df[部门].fillna(未知,inplaceTrue)# 固定值填充df[评分].fillna(methodffill,inplaceTrue)# 前向填充二、异常值处理# Z-score 法fromscipyimportstats znp.abs(stats.zscore(df[工资]))dfdf[z3]# 去掉 Z-score 3 的# IQR 法Q1df[工资].quantile(0.25)Q3df[工资].quantile(0.75)IQRQ3-Q1 dfdf[(df[工资]Q1-1.5*IQR)(df[工资]Q31.5*IQR)]三、重复值处理# 查看重复print(df.duplicated().sum())print(df.duplicated(subset[姓名]).sum())# 删除重复df.drop_duplicates(inplaceTrue)df.drop_duplicates(subset[姓名],keeplast,inplaceTrue) 觉得有用的话点赞 关注【张老师技术栈】吧
