Kaggle Store Sales 预测：XGBoost 与 3 种时序特征工程实战，RMSLE 降至 1.2

Kaggle商店销售预测XGBoost与三种时序特征工程实战当面对Kaggle上的时间序列预测竞赛时选择合适的模型和特征工程策略往往决定了最终成绩的高低。本文将分享如何通过XGBoost模型结合三类关键时序特征工程方法将RMSLE指标降至1.2的实战经验。1. 数据理解与预处理在开始建模前深入理解数据特性至关重要。本次竞赛的数据集包含厄瓜多尔连锁超市Favorita的销售记录时间跨度为4年涉及54家商店的33种商品类别。关键数据表包括train.csv包含日期、商店编号、商品类别、促销信息和销售额stores.csv商店元数据城市、州、类型、集群oil.csv每日油价数据holidays_events.csv节假日和特殊事件信息数据预处理的核心挑战在于处理缺失值和合并多源数据。特别是油价数据中存在43天的缺失值简单的均值填充会掩盖价格波动特性。我们采用前向填充方法# 处理oil.csv中的缺失值 df_oil[dcoilwtico] df_oil[dcoilwtico].fillna(methodffill)合并数据时需注意节假日数据中存在同一天多个节日记录的情况这会导致训练样本膨胀。解决方案是# 去除重复记录 df_train df_train.drop_duplicates(subset[date, store_nbr, family], keepfirst)2. 时序特征工程三部曲传统机器学习模型处理时间序列的瓶颈在于无法自动捕捉时序依赖关系。我们通过三类特征工程解决这一问题2.1 滞后特征Lagged Features滞后特征提取历史时间点的观测值作为当前预测的参考。对于零售销售数据考虑以下典型滞后周期滞后天数业务意义7上周同天销售28上月同天销售365去年同天销售生成代码示例def add_lag_features(df): df df.sort_values(by[store_nbr, family, date]) df[sales_lag_7] df.groupby([store_nbr, family])[sales].shift(7) df[sales_lag_28] df.groupby([store_nbr, family])[sales].shift(28) return df2.2 扩展窗口统计Expanding Window扩展窗口特征计算从序列开始到当前时点的累积统计量反映长期趋势df[sales_expanding_mean] df.groupby([store_nbr, family])[sales]\ .expanding().mean().reset_index(dropTrue)2.3 滚动窗口统计Rolling Window滚动窗口特征捕捉近期局部模式常用配置如下windows [7, 14, 30] # 周、双周、月维度 for w in windows: df[fsales_rolling_mean_{w}] df.groupby([store_nbr, family])[sales]\ .rolling(windoww, min_periods1).mean().reset_index(dropTrue)3. XGBoost模型优化相比原文使用的随机森林XGBoost在时序预测中表现更优原因在于内置处理缺失值机制正则化防止过拟合自定义损失函数支持关键参数配置params { objective: reg:squaredlogerror, learning_rate: 0.05, max_depth: 8, subsample: 0.8, colsample_bytree: 0.7, n_estimators: 1000, early_stopping_rounds: 50, eval_metric: rmsle }训练时需特别注意时间序列交叉验证tss TimeSeriesSplit(n_splits5) for train_idx, val_idx in tss.split(X): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] model xgb.XGBRegressor(**params) model.fit(X_train, y_train, eval_set[(X_val, y_val)], verboseFalse)4. 结果分析与模型对比通过特征工程和模型优化我们实现了显著提升模型特征类型RMSLE随机森林基础特征1.85XGBoost基础特征1.65XGBoost基础时序特征1.32XGBoost优化后的时序特征1.20特征重要性分析揭示了关键影响因素近期销售均值7天滚动平均权重占比35%同期历史销售滞后28天权重占比28%促销活动权重占比15%油价因素权重占比8%5. 实战技巧与避坑指南在项目迭代过程中我们总结了以下经验日期处理技巧将日期拆分为年、月、日、星期等组件标记特殊日期月末、季末、节假日前后df[date] pd.to_datetime(df[date]) df[day_of_week] df[date].dt.dayofweek df[is_month_end] df[date].dt.is_month_end.astype(int)数据筛选策略仅保留最近2年数据去除早期噪声按商店集群分组分析识别异常门店误差分析重点关注预测误差大的商品类别如生鲜分析节假日预测偏差考虑添加特殊事件标记最终提交文件生成submission test[[id]].copy() submission[sales] np.expm1(model.predict(test_features)) # 逆转log变换 submission.to_csv(submission.csv, indexFalse)这次实战证明针对时间序列特性设计的特征工程配合XGBoost模型能够有效提升预测精度。关键在于理解业务场景下的时序模式并将其转化为模型可识别的特征。