1. 项目概述从数学建模竞赛到电商实战的跨越去年带队参加MathorCup妈妈杯B题的经历让我对“电商零售商家需求预测”这个看似竞赛的题目有了更深一层的实战体会。题目给了一堆某电商平台的历史销售数据要求我们构建模型预测未来一段时间内不同商品的需求量。这听起来完全是标准的时间序列预测问题对吧但真正做起来你会发现它远不止是调个ARIMA或者LSTM那么简单。它本质上是一个披着竞赛外衣的、高度贴近真实电商运营场景的综合性问题。参赛者不仅要和数学公式、算法模型打交道更要理解零售业务的内在逻辑比如促销活动的影响、季节性波动、甚至库存策略的约束。最终我们团队凭借一套融合了业务理解的建模方案拿到了不错的奖项而这段经历带给我的最大收获是一个优秀的预测模型其价值一半在算法另一半在对业务问题的深刻洞察与转化。今天我就把这套从赛题到实战的完整思路、核心技术与避坑经验拆解开来无论你是正在备战数学建模竞赛的学生还是初入电商数据分析领域的从业者相信都能从中找到可直接复用的“干货”。2. 赛题核心与业务本质的双重解读2.1 竞赛命题的“表面”与“内核”2023年MathorCup B题的官方描述是典型的数学建模风格提供历史销售数据要求预测未来需求。数据通常包含时间戳、商品ID、销售量、是否有促销活动等字段。从竞赛角度评委期待看到清晰的问题分析、模型建立、求解与验证的全过程。你的论文需要展示如何将现实问题抽象为数学问题例如将“需求预测”定义为时间序列的回归预测任务。然而它的“内核”是一个真实的电商业务问题。商家进行需求预测的根本目的是为了优化库存、降低缺货损失与仓储成本、指导采购与促销策略。因此一个仅在测试集上RMSE均方根误差很低的模型未必是好模型。如果模型无法识别促销带来的脉冲式增长导致预测偏低而缺货其业务损失远大于预测平稳期误差稍大带来的影响。同样如果模型对新品历史数据少或滞销品预测不准也会造成库存积压。所以解题时必须建立业务目标导向的思维评估指标不能只看统计误差还需考虑业务约束如安全库存水平。2.2 需求预测在电商中的关键作用在电商运营中精准的需求预测是供应链管理的“大脑”。它的价值具体体现在库存优化这是最直接的价值。预测未来N天的需求量结合采购提前期和当前库存就能计算出建议采购量实现库存周转率与服务水平的最佳平衡。成本控制避免因预测过高导致的库存积压占用资金、产生仓储费也避免因预测过低导致的缺货损失销售额、降低客户满意度。运营决策支持预测结果可以指导促销活动的排期和力度。例如预测到某商品未来需求走低可以提前策划促销来清理库存预测到旺季来临则可以提前备货甚至调整定价策略。资源调配对于平台或大型商家预测可以指导仓储、物流、客服等资源的预先配置。理解这些业务价值才能在特征工程、模型选择和结果评估阶段做出更明智的决策。例如你可能会更关注模型在销量波峰如大促期间的预测能力而适当放宽对平稳期预测精度的要求。3. 数据预处理比模型更重要的基石拿到竞赛或业务数据切忌直接丢进模型。混乱的数据只会得到混乱的结果。预处理阶段决定了模型效果的上限。3.1 数据清洗与异常值处理电商销售数据常有的“坑”包括缺失值某些天可能无销售记录。这不一定代表销量为0可能是缺数。需要结合业务判断对于普通商品连续多天无销售可能是滞销或下架对于促销商品促销日无数据则极可能是数据缺失。处理方法上对于短期缺失可采用前后插值或简单移动平均填充对于长期缺失且无业务意义的商品可以考虑从训练集中剔除。异常值通常指远超正常范围的销量尖峰。不能简单删除首先要区分这是“噪声”还是“信号”。业务信号如“双十一”、超头部主播带货带来的巨量订单。这些是真实的业务现象模型必须学会捕捉。处理方式是为其打上“大促”标签作为特征或者使用鲁棒性更强的模型如分位数回归、树模型。数据噪声如系统错误导致的重复记录、退货冲销异常。这类需要修正或剔除。一个实用的方法是使用箱线图或3σ原则结合业务常识进行甄别。数据一致性检查价格、销量单位是否统一。例如销量数据是否被无意中放大如录入时以“件”为单位但实际是“箱”。实操心得处理异常值时我习惯创建一个“异常类型”字段。明确标注每条异常记录是“大促”、“直播带货”、“数据错误”还是“其他”。这个字段本身就可以作为一个强有力的特征输入模型告诉模型“这种情况是特殊的请特殊对待。”3.2 特征工程构建模型理解的“语言”特征工程是将原始数据转化为模型能更好理解的信息的过程。对于时间序列预测特征可以分为以下几类时间特征基础周期年、月、日、季度、周几周末效应、是否节假日、是否月初/月末。电商特色是否促销日如618、双11、是否会员日、是否节假日前后。衍生特征距离最近一次大促的天数、是否处于促销预热期。滞后特征 这是时间序列预测的核心。即用过去的值预测未来。例如用前1天、前7天上周同天、前30天的销量作为特征。对于周期性强的数据lag7的特征往往非常重要。滚动统计特征 计算过去一个时间窗口的统计量反映近期趋势。过去7天平均销量过去7天销量标准差反映波动性过去7天销量最大值/最小值过去7天销量环比增长率商品/类别特征静态属性商品品类、品牌、价格段、上架时长。动态属性商品近30天销量排名、商品收藏量/加购量变化率如果有这部分数据。外部特征如果数据允许天气数据特别是对服装、生鲜等品类宏观经济指数或行业搜索指数竞争对手促销信息# 特征工程示例代码片段Python pandas import pandas as pd import numpy as np # 假设df包含‘date’‘sales’‘is_promotion’等列 df[date] pd.to_datetime(df[date]) df df.sort_values(date).reset_index(dropTrue) # 1. 时间特征 df[year] df[date].dt.year df[month] df[date].dt.month df[day_of_week] df[date].dt.dayofweek # 周一0 df[is_weekend] df[day_of_week].isin([5,6]).astype(int) df[day_of_month] df[date].dt.day # 2. 滞后特征 df[lag_1] df.groupby(product_id)[sales].shift(1) # 前一天销量 df[lag_7] df.groupby(product_id)[sales].shift(7) # 上周同天销量 # 3. 滚动统计特征 df[rolling_mean_7] df.groupby(product_id)[sales].transform(lambda x: x.shift(1).rolling(7, min_periods1).mean()) df[rolling_std_7] df.groupby(product_id)[sales].transform(lambda x: x.shift(1).rolling(7, min_periods1).std()) # 4. 处理缺失值滞后特征引入的NaN # 对于滞后期初的缺失可以用全局均值或同类商品均值填充但需谨慎 df.fillna(methodbfill, inplaceTrue) # 或使用其他策略注意事项构建滞后和滚动特征时必须严格避免数据泄露。即在预测第t天的值时只能使用t-1天及之前的信息。上面代码中的.shift(1)和.transform(lambda x: x.shift(1).rolling(...))是关键确保用于计算特征的数据不包含未来信息。4. 预测模型选型与实战应用模型没有绝对的好坏只有是否适合。对于电商需求预测我通常采用“从简到繁分层预测”的策略。4.1 经典时间序列模型ARIMA与ProphetARIMA适用于具有明显自相关性的、相对平稳的单变量序列。对于没有强烈外部因素如突发促销的常规商品ARIMA可能表现稳定且可解释性强。优点理论成熟参数有统计意义适合做基准模型。缺点对多变量特征支持弱难以捕捉复杂的非线性关系和外生冲击如大促。实操要点需要先进行平稳性检验ADF检验并通过差分消除趋势和季节性。(p,d,q)参数的确定可以通过观察自相关图ACF和偏自相关图PACF或使用auto_arima进行网格搜索。Prophet由Facebook开源专门为商业时间序列设计。它内置了对趋势、季节性和节假日的处理。优点对缺失值和异常值鲁棒性强自带节假日效应建模开箱即用结果可解释。缺点本质上是一个可加性模型对于存在复杂交互效应或乘法季节性波动幅度随趋势增大的数据可能效果不佳。实操要点将“促销日”作为自定义的“假日”事件输入模型效果显著。Prophet对历史数据量要求不高适合新品或数据量少的商品。4.2 机器学习模型LightGBM/XGBoost这是当前业界在表格数据预测任务上的主流选择在数学建模竞赛中也极具竞争力。优点能天然处理各种数值和类别特征无需像ARIMA那样要求严格的数据平稳性。能够捕捉特征间复杂的非线性关系和交互作用。训练速度快支持大规模数据。通过特征重要性输出可以反推哪些因素对销量影响最大具有业务解释价值。缺点模型本身是“黑箱”对时间序列的长期依赖关系捕捉能力不如循环神经网络RNN且需要精心设计时序特征如滞后、滚动特征。关键参数num_leaves: 控制树复杂度值越大模型越复杂易过拟合。learning_rate和n_estimators: 需要搭配调整小学习率配合多树通常更稳健。max_depth: 限制树深度防止过拟合。subsample/colsample_bytree: 行/列采样增加模型随机性提升泛化能力。# LightGBM用于时序预测的简单示例 import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_squared_error # 假设X是特征矩阵y是目标销量数据已按时间排序 tscv TimeSeriesSplit(n_splits5) # 时间序列交叉验证 params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: -1 } models [] for train_idx, val_idx in tscv.split(X): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] lgb_train lgb.Dataset(X_train, y_train) lgb_eval lgb.Dataset(X_val, y_val, referencelgb_train) gbm lgb.train(params, lgb_train, num_boost_round1000, valid_sets[lgb_train, lgb_eval], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(period100)]) models.append(gbm)4.3 深度学习模型LSTM长短期记忆网络是处理序列数据的利器特别适合捕捉长期依赖关系。优点能够自动学习时间序列中的动态模式无需手动构建大量滞后和滚动特征。对于具有复杂长期周期性和趋势的数据有优势。缺点需要大量的数据训练否则极易过拟合训练速度慢调参复杂可解释性差。适用场景数据量足够大至少数千条序列、序列模式复杂且传统方法效果不佳时考虑。在MathorCup这类数据量有限的竞赛中需谨慎使用或与树模型结合如用LSTM提取序列特征再输入LightGBM。4.4 分层聚合与模型融合策略电商商品数量庞大且销量分布极度不均衡少数爆款贡献大部分销量。对所有商品使用同一套模型和参数是不现实的。我推荐分层预测策略商品分层根据历史销量、销售额或商品生命周期将商品分为S/A/B/C等不同等级。S级爆款数据丰富波动可能也大。投入最复杂的模型如LightGBM特征工程进行单品预测。A/B级常销品可以按品类或聚类分组进行品类级别的预测再根据商品历史占比分配到单品。C级长尾新品/滞销品数据稀少。可采用简单模型如历史均值、Prophet、同类品类比法或直接使用品类预测结果。模型融合简单平均/加权平均将ARIMA、LightGBM、Prophet等不同模型的预测结果进行加权平均。权重可以根据各模型在验证集上的表现如RMSE的倒数来确定。Stacking将多个基模型第一层的预测结果作为新的特征训练一个元模型第二层通常是简单的线性回归或岭回归进行最终预测。这种方法能有效集成不同模型的优势。实操心得在竞赛和实际业务中我常采用“LightGBM为主Prophet为辅ARIMA为基准”的融合策略。对于大多数商品LightGBM凭借强大的特征处理能力表现最佳对于强季节性、节假日的序列Prophet能提供有效补充ARIMA则作为一个稳健的基准线。融合时给LightGBM最高权重如0.7Prophet次之0.25ARIMA最低0.05往往能取得稳定且领先的效果。5. 评估指标与业务校准从“预测准”到“有用”模型训练好后需要在验证集上评估。但切记统计意义上的最优不等于业务上的最优。5.1 多维度评估指标不要只依赖一个RMSE或MAE。RMSE均方根误差对大误差惩罚更重。如果你的业务更害怕“预测严重不准”如爆款缺货RMSE更合适。MAE平均绝对误差更直观衡量平均偏差。MAPE平均绝对百分比误差相对误差便于比较不同量级商品的预测水平。但注意当真实值接近0时MAPE会趋于无穷大不适用。WAPE加权平均绝对百分比误差用总误差除以总实际值避免了MAPE在零值附近的问题。分位数损失如果你关心的是预测区间的上下界如为库存安全更关注90%分位数的高估风险可以评估特定分位数的预测准确度。5.2 业务校准将预测值转化为决策值模型输出的是“点预测”一个具体数值但业务需要的是“决策”。例如库存补货量。安全库存预测值 安全库存 建议库存水平。安全库存的计算取决于需求波动性预测误差的标准差和服务水平目标。损失函数不对称缺货损失低估通常远大于积压损失高估。你可以在模型层面就解决这个问题例如使用分位数回归预测一个较高的分位数如70%作为补货参考。在LightGBM中可以自定义非对称的损失函数对低估的样本给予更大的惩罚权重。整数约束与最小起订量预测销量可能是小数但采购必须按整数箱、件进行。同时供应商可能有最小起订量MOQ。需要在最终输出时对预测结果进行取整和MOQ约束的调整。6. 完整项目流程与代码框架结合MathorCup B题和一般电商预测项目一个完整的流程如下6.1 问题定义与数据探索明确预测目标预测未来多少天预测粒度是天/周是单品级还是品类级数据探索性分析绘制销量时序图、分布直方图、箱线图。计算自相关性、季节性。识别缺失、异常和明显模式。6.2 数据预处理与特征工程清洗数据处理异常值和缺失值。构建时间、滞后、滚动、商品、外部等特征。划分训练集、验证集和测试集。务必按时间顺序划分不能用随机划分。6.3 基准模型与多模型实验建立简单基准模型如历史均值法、上周同期法。依次实现并调优ARIMA、Prophet、LightGBM/XGBoost等模型。在验证集上评估各模型表现。6.4 模型集成与优化根据验证集表现选择2-3个表现最佳且差异度大的模型。尝试加权平均或Stacking等融合方法。对融合后的模型在测试集上进行最终评估。6.5 结果输出与业务解释输出未来周期的预测值并可视化成图表。分析特征重要性向业务方解释影响销量的关键因素。提供预测的不确定性区间如通过分位数预测或Bootstrap方法为决策提供风险参考。# 一个简化的端到端流程框架示意 import pandas as pd import numpy as np from sklearn.model_selection import TimeSeriesSplit import lightgbm as lgb from statsmodels.tsa.arima.model import ARIMA from prophet import Prophet from sklearn.metrics import mean_squared_error, mean_absolute_error class DemandForecastPipeline: def __init__(self, data_path): self.df pd.read_csv(data_path) self.preprocess() self.feature_engineering() def preprocess(self): # 数据清洗、异常值处理、格式转换 self.df[date] pd.to_datetime(self.df[date]) self.df self.df.sort_values([product_id, date]).reset_index(dropTrue) # ... 具体清洗逻辑 def feature_engineering(self): # 构建各类特征 # ... 滞后、滚动、时间特征等 self.feature_cols [...] # 定义特征列名 self.target_col sales def train_lgb(self): tscv TimeSeriesSplit(n_splits5) models [] scores [] for fold, (train_idx, val_idx) in enumerate(tscv.split(self.df)): X_train self.df.iloc[train_idx][self.feature_cols] y_train self.df.iloc[train_idx][self.target_col] X_val self.df.iloc[val_idx][self.feature_cols] y_val self.df.iloc[val_idx][self.target_col] # 训练LightGBM # ... 训练代码 val_pred model.predict(X_val) score np.sqrt(mean_squared_error(y_val, val_pred)) scores.append(score) models.append(model) print(fLightGBM平均RMSE: {np.mean(scores):.4f}) return models def train_prophet(self, product_list): # 对每个商品单独训练Prophet模型 # ... def ensemble_predict(self, test_data, lgb_models, prophet_models): # 获取各模型预测 lgb_pred np.mean([model.predict(test_data[self.feature_cols]) for model in lgb_models], axis0) prophet_pred ... # 获取Prophet预测 # 加权平均融合 final_pred 0.7 * lgb_pred 0.3 * prophet_pred return final_pred # 使用流程 pipeline DemandForecastPipeline(sales_data.csv) lgb_models pipeline.train_lgb() prophet_models pipeline.train_prophet(top_products) # 假设test_df是未来期的特征数据 final_predictions pipeline.ensemble_predict(test_df, lgb_models, prophet_models)7. 常见问题与避坑指南实录在实际操作和竞赛中以下问题是高频雷区7.1 数据泄露最隐蔽的致命错误问题表现模型在验证集上表现极好但上线或预测未来时一塌糊涂。根本原因在构建特征或划分数据集时不小心使用了未来的信息。例如用“当天的浏览量”预测“当天的销量”或者划分数据集时没有按时间顺序导致训练集包含了验证集之后的数据。排查与解决检查所有特征确保每个特征在t时刻的值仅由t-1及之前的历史数据计算得出。对于滚动均值rolling_mean_7必须使用.shift(1)。严格按时间划分数据集永远使用TimeSeriesSplit或手动按日期切割确保验证集的时间都在训练集之后。模拟线上环境在验证时采用“滚动预测”的方式即用截至到某一时刻的所有历史数据预测下一个时刻逐步推进而不是一次性用全部历史数据训练然后预测一个连续区间。7.2 过拟合与欠拟合的识别过拟合模型在训练集上误差很小在验证集上误差很大。表现为学习到了数据中的噪声而非规律。应对增加训练数据量如果可能、简化模型减少树深度、叶子数、增加正则化L1/L2正则、Dropout、使用交叉验证早停。欠拟合模型在训练集和验证集上的误差都很大。表现为模型能力不足无法捕捉数据中的基本模式。应对增加模型复杂度更多层、更深树、添加更有力的特征、减少正则化、尝试更强大的模型。7.3 新品/稀疏数据的预测难题问题对于新上架商品或历史销量极少的商品缺乏有效历史数据传统时序模型失效。解决思路同类类比法找到与该新品在品类、价格、属性上相似的“兄弟商品”用兄弟商品的历史销售模式作为新品的初始预测依据。层次预测法先预测品类总销量再根据新品上市后的初期表现如首周销量、点击率分配一个品类内的预估份额。使用Prophet等对数据量要求不高的模型Prophet对历史数据长度要求相对宽松可以尝试。设定保守的初始预测在没有任何信息的情况下设定一个较低的安全预测值然后根据实际销售数据快速迭代更新模型。7.4 大促期间的预测失真问题大促期间销量呈数十倍甚至百倍增长模型基于平日数据训练难以准确预测。解决思路特征工程引入强力的“大促”标志特征以及“距离大促天数”、“是否预热期”等衍生特征。数据层面可以将大促数据单独拿出来和平日数据分别建模或者给予大促数据更高的样本权重。模型层面使用对异常值不敏感的模型如分位数回归、树模型或者专门针对大促期训练一个修正模型。业务规则修正结合运营计划如促销力度、广告投放预算对大促期的模型预测结果进行人工经验上调。例如模型预测增长10倍但根据投入资源业务判断可能增长15倍则可进行规则叠加。7.5 评估指标选择不当问题使用MAPE评估包含零值或接近零值的序列导致指标失真或无穷大。解决改用WAPE、RMSE或MAE。或者在计算MAPE前过滤掉实际值过小的样本如小于某个阈值。最后我想分享一个最深的体会电商需求预测不是一个纯粹的数学优化问题而是一个人机结合的决策过程。再好的模型也只是工具它需要业务人员的经验进行校准和修正。建立模型与运营、采购团队的定期沟通机制让他们理解模型的逻辑和局限同时将他们的市场洞察如即将到来的热点、竞争对手动向反馈到模型中才能形成一个不断进化的、真正为业务创造价值的预测系统。在MathorCup这样的竞赛中能够体现这种业务思考的论文往往更能打动评委。而在真实工作中这种结合才是项目成功的关键。