1. 电商推荐系统概述电商推荐系统是现代电商平台的核心竞争力之一。每天面对海量的用户行为数据和商品信息如何从中提取有效特征并构建精准的推荐模型直接关系到平台的转化率和用户留存。我在多个电商平台的实际项目中发现数据清洗和特征工程环节往往决定了推荐系统80%的效果上限。一个典型的电商推荐系统数据处理流程包括原始日志收集→数据清洗→特征提取→特征工程→模型训练→线上推荐。其中前四个环节都属于数据预处理阶段这部分工作看似基础实则暗藏玄机。很多团队把大部分精力放在模型调优上却忽视了数据质量这个更根本的问题。2. 数据清洗实战要点2.1 原始数据问题诊断电商数据常见的问题包括用户行为日志中的异常时间戳未来时间或过早历史时间商品类目信息缺失或错误用户设备信息混乱如频繁变化的设备ID爬虫或机器流量产生的虚假点击促销活动导致的异常行为模式我曾处理过一个案例某平台凌晨3点的点击量异常高经排查发现是爬虫程序定时抓取导致。这类数据如果不加处理直接用于训练会导致模型学习到错误模式。2.2 关键清洗策略针对不同问题需要采用不同的清洗方法时间窗口过滤# 保留最近30天的有效行为数据 df df[(df[timestamp] start_date) (df[timestamp] end_date)]异常用户识别-- 识别异常活跃用户日均行为100次 SELECT user_id FROM user_behavior GROUP BY user_id HAVING COUNT(*)/DATEDIFF(MAX(date),MIN(date)) 100商品信息补全# 使用商品ID关联补全类目信息 df pd.merge( behavior_df, item_df[[item_id, category, price_tier]], onitem_id, howleft )重要提示清洗规则需要根据业务特点动态调整建议保留原始数据备份所有清洗操作都应该记录元数据以便追溯。3. 特征工程深度解析3.1 基础特征构建电商推荐系统的特征通常分为三大类用户特征人口统计学属性年龄、性别等行为统计特征点击率、加购率等兴趣标签基于历史行为的类目偏好商品特征基础属性类目、品牌、价格段动态指标近期销量、转化率内容特征图像嵌入向量上下文特征时间特征小时、星期、是否节假日设备特征终端类型、网络环境场景特征搜索场景/详情页/购物车推荐3.2 高阶特征工程技巧时间序列特征提取# 计算用户最近7天各行为类型的次数 for action in [click, cart, buy]: df[f7d_{action}_cnt] df.groupby(user_id)[action].transform( lambda x: x.rolling(7D).sum() )交叉特征构建# 用户-类目交叉统计 user_cat_stats df.groupby([user_id,category])[buy].agg([sum,count]) user_cat_stats[cat_buy_rate] user_cat_stats[sum]/user_cat_stats[count]Embedding特征应用# 使用Word2Vec生成商品序列嵌入 from gensim.models import Word2Vec item_seqs df.groupby(user_id)[item_id].apply(list) model Word2Vec(item_seqs, vector_size32, window5, min_count5)4. 实战案例用户购买倾向预测4.1 特征设计方案以预测用户7天内购买概率为例我们需要构建以下特征组特征类型具体特征计算逻辑用户统计历史购买率总购买次数/总行为次数加购转化率购买次数/加购次数时间特征最近活跃度最近3天行为次数商品特征价格敏感度历史购买商品价格中位数交叉特征类目偏好度对当前类目的历史点击占比4.2 特征重要性分析通过树模型可以分析各特征的重要性排序用户历史购买率权重0.32当前类目历史点击占比权重0.25最近3天活跃度权重0.18商品价格与用户偏好匹配度权重0.15时段特征权重0.10这个分析结果可以帮助我们优化特征工程的方向。5. 常见问题与解决方案5.1 特征稀疏性问题电商场景下常见的长尾分布会导致很多特征非常稀疏。解决方法包括对低频类别进行归并如将购买次数10的商品类目合并为其他采用哈希技巧降低特征维度使用深度学习模型自动学习稀疏特征表示5.2 特征时效性问题用户兴趣会随时间变化解决方案设置特征衰减权重最近行为权重更高采用时间滑窗统计如只统计最近30天行为实时更新用户特征通过流式计算框架5.3 线上线下一致性特征工程在训练和线上服务时可能出现不一致训练时使用全量历史数据计算统计特征线上时只能使用当前时刻之前的数据解决方法构建特征流水线确保计算逻辑一致使用特征存储服务如Redis缓存中间结果记录特征版本便于问题排查6. 工程化实践建议特征监控体系统计特征分布变化如每周计算各特征的均值/方差监控特征缺失率记录特征覆盖度有多少样本能获得该特征特征复用策略构建特征集市Feature Store标准化特征命名规范建立特征血缘关系图性能优化技巧对高频访问特征进行预计算使用列式存储格式如Parquet对类别特征进行编码缓存在实际项目中我发现建立完善的特征文档特别重要。应该记录每个特征的含义、计算逻辑、数据来源、更新频率等信息这对团队协作和后续迭代都非常关键。