天猫复购预测实战用CatBoost 0.26.1实现AUC提升0.05的特征工程策略当电商平台需要识别哪些促销活动吸引的新客户会转化为忠实用户时复购预测模型的价值就凸显出来了。去年双十一期间某头部电商平台通过优化预测模型将营销资源精准投放给高复购概率用户使得ROI提升了37%。本文将揭示如何通过三步特征工程方法使用CatBoost 0.26.1实现AUC指标0.05的提升。1. 数据理解与预处理天猫复购预测的核心是分析用户-商家交互行为。原始数据集通常包含以下几个关键表用户行为日志记录点击、加购、购买等动作用户画像年龄区间、性别等基础信息训练/测试集标注了是否复购的样本import pandas as pd from catboost import CatBoostClassifier # 加载数据示例 user_log pd.read_csv(user_log_format1.csv) user_info pd.read_csv(user_info_format1.csv) train_data pd.read_csv(train_format1.csv)数据质量检查时需特别注意行为日志中的时间戳格式统一性用户画像中未知值NULL的处理测试集中label字段的缺失情况提示天猫数据中约15%的用户年龄和性别信息缺失直接删除这些样本会导致严重的信息损失更好的做法是将其作为单独类别处理。2. 关键特征构建三步法2.1 时间序列行为特征用户在不同时间段的活跃度差异能显著影响复购概率。我们构建以下特征特征类型计算方式重要性权重近期活跃度最近30天行为次数0.18行为多样性点击/加购/购买的比例0.22时间间隔首次与末次行为间隔0.15# 时间窗口特征计算示例 def calculate_time_window_features(df, window_size30): df[date] pd.to_datetime(df[time_tamp], format%m%d) latest_date df[date].max() # 计算窗口期内行为次数 mask (latest_date - df[date]).dt.days window_size window_actions df[mask].groupby(user_id)[action_type].count() return window_actions2.2 用户-商家交互矩阵通过构建用户与商家的交互矩阵可以捕捉个性化偏好基础交互特征总访问次数不同商品类目数购买转化率购买次数/总访问高阶组合特征周末访问占比促销日行为集中度跨时段活跃模式# 使用交叉统计生成交互特征 interaction_features pd.pivot_table( datauser_log, index[user_id, merchant_id], columnsaction_type, valuesitem_id, aggfunccount, fill_value0 )2.3 嵌入特征与序列模式利用NLP技术提取行为序列中的深层模式行为序列嵌入将用户行为序列视为句子训练Word2Vec注意力权重不同行为对预测的贡献度差异序列突变点行为模式发生显著变化的时间点from gensim.models import Word2Vec # 构建行为序列 user_sequences user_log.groupby(user_id)[action_type].apply(list) # 训练序列嵌入模型 model Word2Vec( sentencesuser_sequences, vector_size32, window5, min_count5, workers4 )3. CatBoost模型调优实战3.1 参数优化策略CatBoost的默认参数在多数情况下表现良好但针对性调整能获得额外提升关键参数组合learning_rate: 0.03-0.1depth: 6-10l2_leaf_reg: 3-10iterations: 500-2000# 最佳参数配置示例 best_params { iterations: 1500, learning_rate: 0.05, depth: 8, l2_leaf_reg: 5, random_strength: 0.5, bagging_temperature: 0.8, od_type: Iter, od_wait: 50 }3.2 类别特征处理CatBoost自动处理类别特征的优势无需手动One-Hot编码基于目标统计量的智能编码对高基数特征如user_id的特殊优化注意虽然CatBoost能自动处理类别特征但对于某些高基数特征提前进行频次过滤如只保留出现超过5次的用户能提升训练效率。3.3 模型训练与评估完整的训练流程应包含分层抽样确保验证集分布一致早停机制防止过拟合多维度评估指标# 模型训练示例 model CatBoostClassifier( **best_params, eval_metricAUC, cat_features[age_range, gender], thread_count8, random_seed42 ) model.fit( X_train, y_train, eval_set(X_val, y_val), early_stopping_rounds100, verbose100 )4. 特征重要性分析与迭代4.1 结果解读通过分析特征重要性我们发现头部特征用户购买转化率权重0.23最近7天活跃度权重0.19跨时段行为差异权重0.15被低估的特征加购后未购买比例特定品类重复浏览非促销日活跃度4.2 持续优化策略建立特征迭代机制自动化特征生成使用Featuretools进行自动特征合成周期性的特征筛选基于SHAP值淘汰低效特征在线学习逐步吸收新数据更新模型# SHAP值分析示例 import shap shap_values model.get_feature_importance( Pool(X_val, y_val), typeShapValues ) shap.summary_plot(shap_values[:,:-1], X_val)在实际项目中这套方法帮助我们将AUC从0.72提升到0.77其中特征工程的贡献约占70%的性能提升。特别是在处理高稀疏用户行为数据时时间序列特征的构建方式对最终效果影响显著。