简介这是一份面向电商评论分析初学者的完整文本挖掘实践项目聚焦手机评论数据覆盖数据预处理、LDA主题模型、情感极性判断与程度计算、回归模型预测销量排序四大核心流程。预处理阶段实际包含去除特殊符号、小写化、停用词过滤、分词与词形还原等操作LDA部分通过Gibbs采样从评论中提取电池、摄像头、系统等特征词情感分析环节给出基于词典与分类器的极性判断和强度量化方法销量预测则借助线性回归、随机森林等模型结合情感特征评估对销量排名的影响。资源共11个文件以Python脚本.py、CSV数据集、说明文档.md及编译缓存.pyc为主其中4个CSV存储评论样本三个脚本分别对应数据预处理、LDA建模与主流程文档记录了项目思路和说明压缩包约4.1MB便于快速下载阅读。项目使用NLTK、Gensim、Scikit-learn等常用NLP库完整体现了从数据清洗到建模评估的落地写法适合课程设计、毕业设计或入门文本挖掘的读者对照学习。目前已有173人学习下载可作为配套参考代码和数据集使用。1. 电商手机评论的文本挖掘一条从评论到销量排序的完整链路值得照着做一遍电商手机评论的文本挖掘光听名字像是个学术作业但当你把数据预处理、LDA模型获取特征词、情感极性判断与程度计算、回归模型预测销量排序这四个板块串起来看它其实是电商运营里特别实用的一条决策链路先让原始评论变干净再找出用户在意外观还是续航接着量化每段吐槽或种草的程度最后用这些文本特征去预测商品的销量走势。适合刚入门 NLP 但想落在真实场景的开发者也适合电商团队里想用评论数据辅助选品和排产的分析师。全流程不依赖重型框架Python 加几个常见库就能跑通后面每个环节我都会把输入、输出、参数和容易翻车的地方写清楚。2. 数据预处理与 LDA 获取特征词语料干净了主题才会说实话2.1 评论文本的字段探查、去重与清洗动手前先看清数据长什么样电商平台导出的评论数据一般是个 CSV 或者 Excel字段至少包含商品ID、评论内容、评分和评论时间。拿到手的第一步别急着分词先用 pandas 做三件事看数据量、看缺失值、看评论内容的重复率。手机评论里最典型的三类脏数据是刷单产生的整段重复、平台默认好评“此用户没有填写评价”以及夹杂表情符号和 HTML 实体的文本。表情和 HTML 实体在分词阶段会被切成无意义符号还会拉低后续 LDA 的特征质量最好在清洗阶段一次性清掉。import pandas as pd import re df pd.read_csv(phone_comments.csv, encodingutf-8) print(df.shape) print(df.isnull().sum()) print(df[comment].duplicated().sum()) # 去重评论内容和商品ID完全相同的保留第一条 df df.drop_duplicates(subset[product_id, comment], keepfirst) # 去掉默认好评和过短评论 df df[df[comment].str.len() 2] df df[~df[comment].str.contains(此用户没有填写评价, naFalse)] def clean_text(s): if not isinstance(s, str): return # 去掉 HTML 实体比如 nbsp; amp; s re.sub(r[a-zA-Z];, , s) # 只保留中英文、数字和常见中文标点其余符号统一丢掉 s re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、\s], , s) return s.strip() df[comment_clean] df[comment].apply(clean_text) df df[df[comment_clean].str.len() 2]逻辑说明drop_duplicates 特意带上商品ID原因很简单——不同商品下出现完全相同的一段评论通常是同一批刷单文案在复制粘贴这属于批量异常不能直接按“内容重复”删掉。clean_text 里的正则保留了中文、英文、数字和常见中文标点其余全部丢弃表情符号在文本挖掘里的信息量很低还会和分词工具产生兼容问题直接剔除是最省事的做法。参数说明str.len() 2 是最低长度过滤如果你的数据里有大量“好”这种单字评价可以先保留后续情感分析里单独看如果业务上想排除噪音再改成 4。编码统一用 utf-8读进来的 CSV 如果报错先看是不是 GBK 编码Excel 导出的文件经常是 GBKread_csv 里加 encodinggbk 就能解决。这一步做干净后面分词和建模能省一半调试时间属于血泪经验。2.2 jieba 分词、去停用词与自定义词典喂给 LDA 的必须是词列表LDA 模型不接受字符串它要的是“分词后的词列表”。我用 jieba 做中文分词重点在于加载自定义词典和保护领域词。手机评论里“骁龙8”如果被切成“骁龙/8”后面 LDA 主题里就会冒出一堆数字碎片“曲面屏”被切成“曲面/屏”倒还好但如果在停用词里误删了“屏”特征词就少了一个区分维度。自定义词典把人名、机型、品牌、行业术语整体保护起来是中文文本挖掘里最值得做的一件事。import jieba # 自定义词典每行一个词格式为“词语 词频 词性”UTF-8 编码 with open(phone_dict.txt, w, encodingutf-8) as f: f.write(骁龙8 10 n\n) f.write(曲面屏 5 n\n) f.write(防水等级 3 n\n) jieba.load_userdict(phone_dict.txt) stopwords set() with open(stopwords_cn.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) # 业务停用词评论里高频但无区分度的词 stopwords.update([手机, 这款, 感觉, 真的, 东西, 还是, 可以]) def cut_to_words(text): words jieba.lcut(text) # 去掉停用词、单字词和纯数字 result [w for w in words if w not in stopwords and len(w) 1 and not w.isdigit()] return result df[words] df[comment_clean].apply(cut_to_words) df df[df[words].str.len() 0] print(df[[comment_clean, words]].head())逻辑说明jieba.load_userdict 加载的是 UTF-8 的自定义词典格式为“词语 词频 词性”词频建议给 5~10太小词典的优先级不够太大又容易让 jieba 把不该合并的词硬合并到一起。cut_to_words 里 len(w) 1 直接把单字词丢掉中文评论里的单字词大部分是语气词、量词或判断词对主题建模没有帮助isdigit 过滤纯数字避免“第2代”里的“2”进入语料。参数说明业务停用词里我特意保留“可以”这个词单独看是中性偏正向但它出现的频率太高会把 LDA 主题往“服务态度”上拉压缩真正和手机硬件相关的主题空间。停用词表不要迷信网上现成的通用表需要根据自己的语料迭代。跑完第一次 LDA 后把主题词打出来看你会发现哪些停用词漏了哪些业务词被误杀这个迭代过程比调模型参数更重要。2.3 gensim 跑 LDA主题数、困惑度与特征词输出主题数 K 是整个 LDA 环节唯一需要人工拍板的超参数也是新手觉得最玄学的地方。常见做法是扫描 5~20 个主题数每个跑一遍同时记录困惑度和主题一致性。困惑度会随着 K 增大持续下降单独看它会让你选出一个大而不可解释的模型主题一致性 c_v 衡量主题内词的共现强度更适合做参考但也不是越高越好——一致性过高往往意味着主题高度重复各主题之间分不开。from gensim import corpora, models # 构造词典和语料 dictionary corpora.Dictionary(df[words]) dictionary.filter_extremes(no_below5, no_above0.5) corpus [dictionary.doc2bow(text) for text in df[words]] # 扫描主题数K 从 5 到 20 results [] for k in range(5, 21): lda models.LdaMulticore(corpuscorpus, id2worddictionary, num_topicsk, passes10, workers4, random_state42) perplexity lda.log_perplexity(corpus) coherence models.CoherenceModel(modellda, textsdf[words], dictionarydictionary, coherencec_v).get_coherence() results.append((k, perplexity, coherence)) # 打印对比结果 for k, p, c in results: print(fK{k:2d} 困惑度{p:.2f} 一致性{c:.4f})逻辑说明filter_extremes 是 LDA 语料清理的关键一步。no_below5 表示词至少要在 5 条评论里出现否则当噪声丢弃no_above0.5 表示词出现在超过一半的评论里就说明区分度太低自动停用。这一步会削掉大量低频品牌词和机型碎片。LdaMulticore 的 workers4 是 CPU 并行数小语料开太多核反而会增加进程通信开销两万条以下的评论数据集设成 2~4 就够。参数说明passes10 是扫描阶段快速跑一遍用的最终模型建议提到 50。random_state 必须固定不然每次跑出来的主题词排列都不一样后面想复现的人会以为你在调玄学。选 K 时不要只看数字把每个 K 下主题的前 15 个词打印出来人工看一遍K12 时如果出现“拍照、像素、清晰、夜景”和“续航、掉电、快充、发热”这种能直接对应产品卖点的主题说明选对了K20 时如果主题里全是机型碎片那就是过拟合。选定 K 之后训练最终模型并导出特征词# K 选 12训练最终模型 final_lda models.LdaMulticore(corpuscorpus, id2worddictionary, num_topics12, passes50, workers4, random_state42) # 打印每个主题的特征词 for topic_id in range(final_lda.num_topics): words final_lda.show_topic(topic_id, topn15) print(f主题{topic_id}: .join(w for w, _ in words))逻辑说明show_topic 返回词权重列表topn15 足够看出主题含义。拿到主题词后要做业务映射出现“屏幕、亮度、阳光下、可视角度”对应显示效果出现“发热、掉电、快充、续航”对应续航出现“拍照、像素、夜景、防抖”对应影像。这个映射表要存下来后续情感分析和回归特征都要引用它。导出主题词存 CSV 是顺手但很有用的操作import pandas as pd topic_df pd.DataFrame() for topic_id in range(final_lda.num_topics): words final_lda.show_topic(topic_id, topn15) topic_df[ftopic_{topic_id}] [w for w, _ in words] topic_df.to_csv(topic_words.csv, indexFalse)参数说明这里选 K12 是示例实际选择要把“主题能否对应业务含义”作为第一标准而不是追求困惑度最低。主题数太少外观和屏幕会混在一起主题数太多会出现“只包含 3 条评论”的碎片主题。导出的 CSV 建议手工补一列“业务标签”比如 display、battery、performance后面回归特征里可以按主题聚合。3. 情感极性判断与程度计算把“还行”和“差评”换算成数值3.1 情感极性的两种判断路线情感词典 vs 文本分类器LDA 告诉你用户在聊什么情感分析解决聊得是好是坏。情感极性的实现路线有两条情感词典打分和训练文本分类器。词典打分的优势是无需标注数据、可解释性强算完能直接解释“为什么这条评论得 0.75 分”劣势是覆盖不了网络新词和反讽。分类模型的优势是能学上下文劣势是至少需要几千条人工标注数据而且标注标准不统一换个品类就失效。手机评论句式相对固定“续航不错、拍照清晰、手感好”这类表达居多我用情感词典打分作为第一版方案性价比最高。基础词典可以用大连理工情感词汇本体库或知网情感词典我会在上面叠加一份自定义的手机领域情感词表把“烫手”“掉电快”“卡顿”归为负向“丝滑”“跟手”“高级感”归为正向。这里要区分清楚LDA 特征词是话题词情感词是态度词两者有重叠但不完全一致比如“快充”出现在 LDA 主题里是话题而“快充好”的情感落点是“好”不在“快充”。3.2 程度副词与否定词把“不太满意”算成 -0.75情感打分不能只查情感词典。“很满意”和“还算满意”都是正向程度差距很大“不满意”和“不太满意”都是负向但语气强度明显不同。标准做法是在情感词周围配程度副词系数和否定词翻转。我一般会这样实现# 情感词典词 - 极性强度 sentiment_dict { 好: 1.0, 不错: 1.0, 满意: 1.5, 惊喜: 2.0, 流畅: 1.5, 清晰: 1.0, 高级: 1.0, 差: -1.0, 卡顿: -1.5, 发热: -0.5, 失望: -1.5, 后悔: -2.0, } # 程度副词乘以系数 degree_dict { 很: 1.5, 非常: 2.0, 太: 1.8, 有点: 0.7, 不太: 0.5, 比较: 0.9, 极其: 2.5, } # 否定词翻转极性 neg_words {不, 没, 没有, 无, 别} def calc_sentiment(words): score 0.0 for i, w in enumerate(words): base sentiment_dict.get(w) if base is None: continue # 往前看两个词统计否定词数量和程度副词系数 neg_count 0 degree 1.0 for j in range(max(0, i - 2), i): if words[j] in neg_words: neg_count 1 degree * degree_dict.get(words[j], 1.0) if neg_count % 2 1: base -base score base * degree return score df[sentiment_score] df[words].apply(calc_sentiment) print(df[sentiment_score].describe())逻辑说明calc_sentiment 的窗口是往前看两个词在每个情感词处独立计算。比如“没有惊喜”里“惊喜”前两个词是“没有”和更早的词neg_count1极性从 2.0 翻成 -2.0“不太满意”里“满意”前两个词是“不太”degree 乘 0.5neg_count1 再翻转最终得分 -0.75。这个值比“不满意”的 -1.0 要轻符合中文语感。参数说明i-2 这个窗口是经验值中文里“没有想象中好”的否定词和情感词距离是 3“没有”在 i-3 的位置窗口会漏判。把窗口扩到 i-3又容易出现“虽然不是最好”这种句子否定词实际上修饰的是另一个词。我建议两种窗口都跑一遍抽 20 条评论人工对比得分选更符合直觉的。degree 默认值设成 1.0意味着没有匹配到程度副词就不缩放这是图省事但不容易出错的写法。3.3 从评论级得分到商品维度聚合均值、好评占比与时间加权情感得分算到每条评论后下一步是以商品为粒度聚合因为销量排序的单位是商品。直接用平均值最省事但对长评短评一视同仁好评占比对异常值更稳健时间加权可以让近期的口碑权重更高对预测销量更有意义。# 按商品聚合 product_senti df.groupby(product_id).agg( comment_count(sentiment_score, size), mean_sentiment(sentiment_score, mean), pos_ratio(sentiment_score, lambda x: (x 0).mean()), score_std(sentiment_score, std) ).reset_index() # 时间加权评论越近权重越高 df[weight] 1.0 df[days_ago] (pd.Timestamp(2026-01-01) - df[comment_time]).dt.days df.loc[df[days_ago] 7, weight] 1.5 df.loc[df[days_ago] 30, weight] 1.2 def weighted_mean(scores, weights): return (scores * weights).sum() / weights.sum() product_senti_2 df.groupby(product_id).apply( lambda g: pd.Series({ weighted_sentiment: weighted_mean(g[sentiment_score], g[weight]), comment_count: len(g), pos_ratio: (g[sentiment_score] 0).mean(), }) ).reset_index()逻辑说明agg 里的 size、mean、lambda 分别计算评论数、情感均值和好评占比score_std标准差是我建议保留的均值相同的两个商品标准差小的说明口碑稳定这个信息在回归特征里很有用。groupby.apply 在几万条评论时没问题几十万条时性能会明显下降可以先算好加权得分再 merge避免在分组循环里写复杂逻辑。参数说明时间衰减窗口 7 天和 30 天是活动促销节奏里的常规设置大促后的评论密集期可以把 7 天窗口改成 14 天。pd.Timestamp(2026-01-01) 只是示意实际使用时要填“数据采集的截止日”否则换一天跑结果就变了这个细节会让线上复现的人纳闷为什么数字对不上。4. 回归模型预测销量排序特征工程与 LightGBM 落地4.1 特征工程把文本特征、主题占比和时间窗口拼成一张表回归模型的特征分两类。一类从评论里算出来情感均值、好评占比、负面评论率、LDA 各主题占比、评论总数另一类是商品基础信息价格、上架月数、促销标记。这里有一个常见误区评论数量和销量高度相关但评论数量本身就是“过去的销量结果”拿它当特征预测未来销量本质上是用结果预测结果要小心处理。我一般会保留评论总数但必须同时放进上架月数用“月均评论数”作为特征而不是裸的评论数。import numpy as np # product_features 是商品维度的基础信息表字段至少包含 product_id, price, launch_months, is_promotion features product_senti_2.merge(product_features, onproduct_id, howinner) # 把 LDA 主题占比合并进来corpus 沿用第 2 章构造的 BOW 语料 topic_dist np.zeros((len(df), final_lda.num_topics)) for i, bow in enumerate(corpus): for topic_id, prob in final_lda.get_document_topics(bow): topic_dist[i, topic_id] prob df[dominant_topic] topic_dist.argmax(axis1) topic_ratio df.groupby(product_id)[dominant_topic].value_counts(normalizeTrue).unstack(fill_value0) features features.merge(topic_ratio, onproduct_id, howleft)逻辑说明get_document_topics 返回每条评论在各主题上的概率分布argmax 取最大概率主题作为该条评论的主导主题。groupby value_counts(normalizeTrue) 得到“每个商品下评论集中在哪些主题”这组特征能直接反映商品是“拍照机”还是“续航机”对销量排序的解释力比情感均值更强。unstack(fill_value0) 把缺失主题的占比补成 0避免模型输入出现 NaN。参数说明主题占比特征在评论很少的商品上会退化成 0/1 矩阵模型容易过拟合。如果商品平均评论数小于 10建议做平滑topic_ratio (count 0.1) / (total 1.0)。价格特征在树模型里不需要标准化但如果后续要输出“预测销量”而不是排名销量和价格之间通常是对数关系先把销量取 log 再训练会稳很多。如果你之前习惯在 Excel 里做加乘回归模型面对这种以稀疏文本特征为主的数据会很快放弃文本特征先进树模型是更稳的路。4.2 LightGBM 回归模型参数设定与训练流程销量回归我首选 LightGBM 而不是线性回归原因有两个一是主题占比特征是稀疏的树模型可以不标准化二是评论特征和销量之间经常是阈值关系——“好评率低于 0.7 之后销量掉得特别快”树模型能自动切出这个阈值。如果你更熟悉 XGBoost流程基本一致只是缺失值处理和早停逻辑略有差别。下面是一份可以直接复制的 LightGBM 回归模型训练代码import lightgbm as lgb from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error X features.drop(columns[product_id, sales_rank]) y features[sales_rank] # 销量排名数值越小越靠前 X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2, random_state42) model lgb.LGBMRegressor( objectiveregression, num_leaves31, learning_rate0.05, n_estimators500, subsample0.8, colsample_bytree0.8, reg_alpha0.5, reg_lambda5.0, random_state42, n_jobs4, ) model.fit( X_train, y_train, eval_set[(X_val, y_val)], eval_metricrmse, callbacks[lgb.early_stopping(50), lgb.log_evaluation(50)], ) y_pred model.predict(X_val) print(RMSE:, mean_squared_error(y_val, y_pred, squaredFalse)) print(Feature importance:) print(sorted(zip(X.columns, model.feature_importances_), keylambda x: x[1], reverseTrue)[:10])逻辑说明eval_set 和 early_stopping 是 LightGBM 训练的标准配置。early_stopping 的 50 表示验证集在连续 50 轮没有提升就停止训练这比硬跑完 n_estimators500 更不容易过拟合。reg_alpha 和 reg_lambda 一个是 L1 正则一个是 L2 正则评论特征里有强共线性时L2 的 reg_lambda 作用更明显。feature_importances 打印出来看看是不是只有评论总数排第一——如果是说明文本特征没起到应有作用要回头调情感聚合或主题占比。参数说明num_leaves31 对应深度约 5 的叶子数是默认值。特征数不超过 50 时先把 num_leaves 调成 15~31 这个范围再动 learning_rate。subsample0.8 和 colsample_bytree0.8 是按行、按列采样对付过拟合比调 max_depth 更直接。learning_rate0.05 配合 500 棵树训练速度完全能接受如果数据量过百万再把 learning_rate 调到 0.02n_estimators 加到 2000早停会帮你截断。4.3 销量排序评估不要只看回归误差要看排序是否对回归的 RMSE 再低如果业务上要的是“预测销量排序”评估就必须用排序指标。我常用的两个指标是 Spearman 秩相关系数和 NDCGK。Spearman 看的是整体单调一致性不关注误差幅度NDCGK 更贴近运营视角——只要头部商品的预测排名正确就算得上有效。from scipy.stats import spearmanr from sklearn.metrics import ndcg_score rho, p spearmanr(y_val, y_pred) print(fSpearman{rho:.3f}) k 10 true_rel 1.0 / (y_val.values.reshape(1, -1) 1) # 真实排名越小相关性越高 pred_rel -y_pred.reshape(1, -1) # 预测排名越小得分越高 print(fNDCG{k}{ndcg_score(true_rel, pred_rel, kk):.3f})逻辑说明Spearman 计算的是真实排名和预测排名之间的单调关系1.0 表示顺序完全一致0 表示没有相关性。NDCG 的输入格式比较绕真实相关性分数需要越大越好真实销量排名第 1 的商品相关性最高所以取倒数模型预测的排名越小越好所以取负号。k10 表示只看前 10 个商品这符合“运营只关注头部爆款”的实际诉求。参数说明如果数据里没有现成的排名可以把销量分桶比如前 10% 为 3、中间 40% 为 2、剩下为 1作为相关性的近似。NDCG 的 k 不能设得太大商品总数只有 50 个时 k20 会把尾部噪声一起算进来通常 k 取 min(10, 商品数/5)。5. 避坑/常见问题排查五个让项目翻车的细节文本挖掘链路越往后跑越会发现坑大多不在模型参数里而在数据和评估的细节中。下面五条是我在手机评论项目里反复踩过的按现象、原因、解决三个步骤写清楚每条基本都能直接对号入座。5.1 现象情感模型全预测为“正向”负向评论被淹没原因是电商评论天然不平衡好评占比往往超过九成。情感词典打分后绝大多数评论得分都大于 0均值也被推得很高。如果直接把 0 当作正负向阈值负向评论会被全部淹没。解决不要用全局均值做阈值改用 z-score 标准化把每条评论的得分减去商品自身均值再除以标准差或者单独调高负向情感词的权重把负向评论的召回率作为第一优化目标而不是整体准确率。我在项目里会把 top 负向评论打印出来人工看一遍确认“没找错人”再往下走。5.2 现象LDA 主题里全是品牌词和机型词看不出业务含义原因是手机评论里“苹果”“华为”“小米”“Pro”“13”这类词频次太高filter_extremes 的 no_above0.5 只过滤了超过一半评论的词品牌词频次通常在 10%~30%根本拦不住。解决把品牌词、机型词直接加进停用词表作为业务停用词的一部分更省事的做法是在跑 LDA 之前先跑一遍 TF-IDF把 top 100 的高权重词拉出来肉眼检查凡是“不表达主题的词”统一加进停用词。这个坑基本每个手机品类文本挖掘都要踩一次我后来直接把“品牌词机型词”做成一个独立的词典文件换品类时只改这个文件LDA 主题马上变得能解释。5.3 现象“没有”和“不错”被误判否定逻辑经常抽风原因是情感词典和否定词表按独立词匹配但中文否定表达远比“否定词情感词”复杂。“不错”本身是正向词前面加个“没有”变成“没有不错”这种不自然的口语很少见真正常见的是“没有想象中好”——“好”前面两个词是“象中”否定词“没有”在窗口之外被漏判。“不尽如人意”这种固定短语词典里如果只收录“人意”极性根本算不准。解决维护一份“领域否定搭配表”把“不尽如人意”“差点意思”“一般般”整体作为负向词收录对“不错”这类高频正向词单独检查它前面有没有直接紧邻的否定词有才翻转不要做跨词否定。5.4 现象回归模型在验证集上指标很好业务却不认账原因是时间错位。评论是过去一段时间的口碑表达销量排名是商品当下的市场表现。如果训练集和验证集用的是同一时间段的数据模型学到的是“评论好的商品销量高”这种同义反复而不是预测。解决按时间切分数据用前两个月的评论特征去预测后一个月的销量排序上架不满一个月的商品单独成组它们的评论量太少特征本身就要用另一套规则。这个时间窗口的设定没有统一标准常见做法是先按促销节奏定再看验证集排序指标调。5.5 现象RMSE 降下去了排序相关性却很差原因是 RMSE 和排序指标衡量的是不同的东西。RMSE 对整体误差敏感只要大部分商品预测值接近真实值误差就小排序指标对相对顺序敏感哪怕预测值整体偏移只要顺序对Spearman 就高。如果你的模型 RMSE 低但 Spearman 只有 0.2说明模型学到的是“平均水平”没有学到商品之间的区分度。解决把 NDCGK 作为最终验收指标RMSE 只在训练日志里做参考模型训练时如果排序指标上不去优先怀疑特征里缺了“商品基础信息”因为纯文本特征很难区分两个口碑差不多的商品。6. 验证方法与进阶把离线分析做成每周自动跑的监控脚本模型跑通只是起点真正有价值的是让这条文本挖掘链路按周自动迭代。我习惯把前面所有步骤封装成一个 pipeline.py读取评论、清洗、LDA、情感、特征合并、LightGBM 训练、输出商品排序表。每周新数据进来重跑一遍就得到当周的“口碑排名”。封装时要把第 2 章的 random_state、停用词表、自定义词典、主题数 K 全部写进配置文件不然下周跑出来的主题漂移了你分不清是数据变了还是参数被人动过。一个值得做的进阶技巧是监控主题漂移把本周和上周 LDA 主题前 15 个特征词做重叠率对比重叠率低于 60% 说明用户话题变了可能来了新机型或新卖点。这时候不要急着重训模型先去看新增的特征词是什么。很多情况下是季节因素比如夏天“发热”主题占比升高属于正常波动不需要动模型。验证方法上我会留最近一个季度的数据做 backtest每月的第一周用前两个月的评论做训练预测当月的销量排序计算 NDCG10看连续三个月的平均分是否稳定。低于 0.5 说明文本特征对销量排序的解释力不够回到特征工程补特征而不是继续调 LightGBM 参数。参数调优在排序任务里收益很有限特征里有没有“促销标记”“上架月数”这种基础字段往往决定排序指标是 0.3 还是 0.6。我之前犯过的错是过于相信模型输出的排序后来把“预测排名前 10 的商品人工看一下各自的主题分布和情感得分”列为固定动作发现过好几次模型把刚上架商品排到前面——因为新品的评论数很少主题占比特征全是 0 或 1模型被稀疏特征带偏。解决是在特征里加入“评论数 50 才启用主题占比”的开关评论不足的商品单独走价格和基础信息预测。这一套跑顺之后整个项目就不再是“初体验”而是可以挂进周报的运营数据产品。希望帮到你。本文还有配套的精品资源点击获取
