简介面向毕业设计场景的中文评论情感分析完整工程利用word2vec将中文词汇转换为低维向量并借助SVM支持向量机区分正面与负面情感适合正在开展文本分类、舆情分析课题的本专科学生参考与复用。压缩包共12个文件约24.17MB以Python源码、csv数据集、npy向量特征、pkl模型文件为核心另含项目配置xml与iml等辅助文件结构清晰可直接运行。已有1112人参与学习下载。除主程序外还提供微博评论样本、训练集与测试集向量、训练好的w2v模型省去自行爬取与预训练时间。代码覆盖分词、去停用词、词向量训练、SVM建模、交叉验证与准确率/召回率评估等关键环节配合标签与模型参数可帮助理解中文文本分类的完整流程对毕业设计或课程项目具有较强的落地价值。1. 为什么微博评论情感分析选word2vecSVM而不是深度学习中文评论情感分析在毕业设计里有一个经典误区看到“情感分析”就想到深度学习结果被BERT的显存和GPU卡死。这个基于word2vec和SVM的微博评论分类项目恰恰用传统机器学习路线解决了“小数据、短文本、中文噪声大”的问题。先说结论word2vec利用浅层神经网络把词变成低维稠密向量SVM再在向量空间里切分类边界整个过程不需要GPU一台普通笔记本跑完只需几分钟。对训练数据有限的中文文本分类任务来说这套组合的稳定性和可复现性都远优于从头训练的复杂模型也因此成为毕业设计里的高频选题。2. 微博语料预处理从CSV到jieba分词2.1 数据集结构确认拿到项目后先看到simplifyweibo_4_moods.csv。这个csv是微博评论文件名里的4_moods通常代表四种情绪但毕业设计常见的是二分类正面/负面。打开前几行import pandas as pd df pd.read_csv(simplifyweibo_4_moods.csv, encodingutf-8) print(df.shape) print(df.head()) print(df.columns.tolist())read_csv读进来之后不要急着训练先打印shape看样本量和特征数head看前几行是否有乱码columns确认字段名。这个数据集的文本字段可能是review、comment或content标签可能是label、emotion_label或emotion_type。如果列名不一致后续代码里的df[review]就要改。我在处理类似项目时一般会先输出字段清单再做列名映射。| 可能出现的列名 | 类型 | 用途 | | label / emotion_label | str/int | 情感标签二分类对映0/1 | | review / comment | str | 评论文本是分词输入 | | emotion_type | str | 多分类情绪标签四类时可作为扩展 |提示读取报编码错误时优先把encoding改成gb18030它能覆盖大部分微博数据字符。2.2 清理微博文本中的URL和噪声微博文本噪声多URL、用户、话题#...#、表情包文字都会干扰分词和向量训练。用re直接替换import re def clean_text(text: str) - str: if not isinstance(text, str): text str(text) text re.sub(rhttp\S|www\.\S, , text) text re.sub(r[\w\u4e00-\u9fa5\-], , text) text re.sub(r#([^#])#, r\1, text) text re.sub(r\[[^\]]*\], , text) return text.strip() df[clean_review] df[review].apply(clean_text)http\S匹配以http开头一直到空白结尾的完整URLwww.同理。[\w\u4e00-\u9fa5-]能匹配后面的英文字母、数字、中文字符和短横线把用户名整体去掉。话题#...#的处理方式是保留话题内部文字因为话题本身往往包含情感倾向词。方括号里的表情符号是微博最常见的噪声直接替换为空。clean_text中的strip防止首尾空格影响后续分词。正则清洗是给word2vec减噪但别把所有符号删除否则“好吃”去掉叹号后情感强度信息会有损失分词器会把“好吃”和“好吃”合并成同一个词情绪反而模糊。我一般只删URL、、表情和多余空格标点符号保留。2.3 jieba分词与停用词过滤项目里看不到停用词表但分词这一步必须处理。jieba常用精确模式import jieba stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def tokenize(text: str) - list: words jieba.lcut(text, cut_allFalse) result [] for w in words: if w.strip() : continue if w in stopwords: continue result.append(w) return result df[tokens] df[clean_review].apply(tokenize) sentences df[tokens].tolist() print(sentences[0])jieba.lcut在精确模式下返回词列表不增加词性标注适合直接喂给word2vec。stopwords读取后放在集合里集合的in判断是O(1)几万条评论处理也不慢。过滤停用词时要注意不要过滤“不”它会把“不看好”变成“看好”情感反转就丢了。我一般只过滤语气助词、代词和过度常见词比如“的、了、是、就、都、和、及、与、而”。不要用jieba.analyse.extract_tags做关键词抽取它返回的是带权重的关键词而不是全量词序列。word2vec需要全部词参与上下文训练只留关键词会丢失大量共现关系。2.4 标签映射与训练集切分情感标签是字符串或数字SVM要求数字形式。做映射label_mapping {pos: 1, neg: 0} df[y] df[label].map(label_mapping) # 如果原始标签是0/1整数直接转换 # df[y] df[label].astype(int)如果原始标签有0/1和pos/neg混在一起map之后会出现NaN先用value_counts确认分布。然后按7:3划分from sklearn.model_selection import train_test_split X df[tokens].tolist() y df[y].tolist() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) print(len(X_train), len(X_test))这里用分层划分是因为微博评论正面和负面的数量往往不平衡stratifyy能保持训练集和测试集的类别比例一致。项目里已经直接提供了train_vecs.npy和test_vecs.npy如果从零跑可以把这里的X_train和X_test送入下一章的word2vec训练流程。3. word2vec词向量训练把中文评论变成语义坐标3.1 为什么评论分类要单独练word2vec中文词汇组合复杂“好吃”和“难吃”只差一个字语义却完全相反。one-hot编码无法体现词与词之间的相似性SVM在这样的高维稀疏特征上只能看到独立词频看不到“这家店”和“这家饭馆”在语义上接近。word2vec通过上下文预测中心词CBOW或中心词预测上下文Skip-gram把每个词映射到连续的低维向量空间。词向量本身不负责情感判断它只负责把语义信息压缩成可计算的坐标SVM再在这些坐标上切分类边界。在小语料上预训练BERT容易过拟合word2vec直接在自身语料上从头训练效果反而更可控。| 模型 | 预测方向 | 训练速度 | 适用场景 | | CBOW (sg0) | 上下文 - 中心词 | 快 | 大规模语料高频词丰富 | | Skip-gram (sg1) | 中心词 - 上下文 | 慢 | 中小规模语料低频词价值高 |对于微博短文本我倾向Skip-gram因为它对低频词更友好。很多网络新词出现次数很少Skip-gram能通过更细的上下文学到它们的语义。3.2 gensim训练核心参数项目里的w2v_model.pkl是用gensim保存的。从头训练的代码from gensim.models import Word2Vec w2v Word2Vec( sentencessentences, vector_size128, window5, min_count2, sg1, epochs8, workers4, seed2024 ) w2v.save(w2v_model.pkl)vector_size词向量维度128是性价比很高的起点。64容易丢语义256以上在微博语料上容易让SVM过拟合。window上下文窗口5表示前后各看5个词。window太大会把无关词拉进语义太小则捕捉不到转折结构。min_count过滤出现次数小于2的词。微博里大量拼写错误的词只出现一次留着会变成噪声。sg1启用Skip-gram0是CBOW。epochs训练轮数8轮通常够轮次过多模型会在小语料上记住噪声。workers并行线程数但Windows下有时要放到ifname main里否则多进程会重复加载数据。训练后验证效果print(w2v.wv.most_similar(好吃, topn5)) print(w2v.wv.similarity(好吃, 难吃))如果“好吃”和“难吃”的余弦相似度很高不要惊讶它们共享了“食物”语境。SVM正是利用这种语义空间来区分类别词向量的相对位置比单个维度上的值更重要。3.3 句子向量平均词向量还是加权平均一条微博包含多个词向量SVM一个样本只能有一个向量。常见做法是把评论中所有词的向量取平均import numpy as np def get_sentence_vector(words: list, model, dim128) - np.ndarray: vectors [] for word in words: if word in model.wv: vectors.append(model.wv[word]) if not vectors: return np.zeros(dim) return np.mean(vectors, axis0) train_vecs np.array([get_sentence_vector(sent, w2v) for sent in sentences]) print(train_vecs.shape)为什么用平均每条评论长度不同LSTM可以记住顺序但SVM无法直接处理变长序列。平均操作丢掉词序保留了语义重心。“菜好吃”和“好吃菜”在平均后几乎一样这对情感分类影响不大因为情感主要靠词本身而不是语序。更进一步的改进是加权平均权重可以是TF-IDF或词频一条评论里多次出现的词应该贡献更大。还可以加入句子归一化norm np.linalg.norm(train_vecs, axis1, keepdimsTrue) train_vecs train_vecs / (norm 1e-8)归一化后每条评论向量长度一致SVM计算距离时不会偏向长评论。3.4 把向量缓存为npy文件词向量训练和句子向量化是最慢的部分缓存下来调SVM会很快np.save(train_vecs.npy, train_vecs) np.save(y_train.npy, y_train)train_vecs.npy形状是(样本数, 128)y_train.npy形状是(样本数,)。保存之后后面读回来不需要重新跑分词和word2vec。我做毕业设计时经常改SVM参数每次重新分词很崩溃缓存向量后调参可以在一分钟之内完成一轮。4. SVM分类让SVM在128维向量上找到决策边界4.1 直接加载向量和标签如果使用项目提供的向量文件代码import numpy as np X_train np.load(train_vecs.npy) y_train np.load(y_train.npy) X_test np.load(test_vecs.npy) y_test np.load(y_test.npy)检查形状并对齐assert X_train.shape[0] y_train.shape[0] assert X_test.shape[0] y_test.shape[0] print(X_train.shape, X_test.shape) print(np.unique(y_train), np.unique(y_test))y_train如果是float需要先astype(int)否则scikit-learn会报标签类型错误。标签不要求连续但最好统一为0和1。这里的X矩阵每一行对应一条微博评论的128维平均词向量已经是标准化前的形态。4.2 线性核和RBF核的选择SVM默认RBF核。线性核适合高维稀疏特征比如TF-IDF向量但word2vec得到的是低维稠密向量样本量通常不大RBF更容易拟合非线性边界。比较代码from sklearn.svm import SVC clf_linear SVC(kernellinear, C1.0) clf_rbf SVC(kernelrbf, C1.0, gammascale) clf_linear.fit(X_train, y_train) clf_rbf.fit(X_train, y_train) print(linear ACC:, clf_linear.score(X_test, y_test)) print(rbf ACC:, clf_rbf.score(X_test, y_test))| 核函数 | 适用场景 | 主要参数 | 训练速度 | 说明 | | linear | 高维稀疏文本TF-IDF | C | 快 | 可解释性强 | | rbf | 低维稠密词向量 | C, gamma | 中等 | 默认gammascale | | poly | 非线性带多项式关系 | degree, C, gamma | 慢 | 容易过拟合少用 | | sigmoid | 近似神经网络输出 | C, gamma | 中等 | 不常用 |gammascale表示gamma等于1/(特征数量乘以X的方差)对128维词向量来说每个维度数值范围接近scale通常够用。C默认1.0先不要调太大防止SVM过度拟合微博评论中的个别极端表达。4.3 用GridSearchCV找到稳定参数SVM参数不多但网格搜索仍然值得做。这里使用Pipeline同时加标准化from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline pipe Pipeline([ (scaler, StandardScaler()), (svc, SVC()) ]) param_grid { svc__kernel: [rbf], svc__C: [0.1, 1, 10], svc__gamma: [0.01, 0.1, scale] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1_macro, n_jobs-1, verbose1) grid.fit(X_train, y_train) print(grid.best_params_) print(grid.best_score_)为什么加StandardScalerword2vec词向量维度虽然来自同一个模型但平均后的句子向量可能偏向某个量级标准化后每个特征均值约0、方差1SVM的间隔计算对特征尺度敏感。加上它通常能提高1到3个百分点的准确率。svc__前缀是Pipeline语法指向SVC子对象参数。cv5表示5折交叉验证每个参数组合跑5次取平均得分。scoring选择f1_macro因为正负样本不均衡时accuracy会掩盖模型在少数类上的差表现。verbose1方便查看进度。GridSearchCV结束后要用grid.predict(X_test)得到预测标签不要直接用grid.score代替预测。4.4 评估指标和结果解读分类报告from sklearn.metrics import classification_report, confusion_matrix best_clf grid.best_estimator_ y_pred best_clf.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))classification_report输出precision、recall、f1-score和support。在情感分析中重点看负类的recall负类recall低意味着很多负面评论被预测成正面这对舆情监控场景是致命的。confusion_matrix的排列是[TN, FP, FN, TP]可以结合具体样本找出错分规律。如果结果不理想不要急着换模型先把预测错误的评论打出来看有没有乱码、未分词、标签写入错误。训练结束后保存模型import joblib joblib.dump(best_clf, svm_model.pkl)这样线上预测时加载SVM和词向量模型即可。5. 提升泛化能力的三个实战细节5.1 处理OOV未登录词word2vec训练时如果设置了min_count2测试集很可能出现训练集没有的新词。最安全的方式是返回零向量相当于忽略该词def get_sentence_vector_with_oov(words: list, model, dim128): vectors [model.wv[w] for w in words if w in model.wv] if not vectors: return np.zeros(dim) return np.mean(vectors, axis0)如果整句都是新词会得到全零向量SVM大概率把它分给多数类。想给新词一个随机初始化可以提前用固定种子生成随机向量不要每次预测都用numpy.random否则结果不可复现。5.2 复用w2v_model.pkl时注意gensim版本项目里的w2v_model.pkl是旧pickle格式加载方式from gensim.models import Word2Vec model Word2Vec.load(w2v_model.pkl)如果报错unsupported pickle protocol大概率是gensim大版本升级导致。解决办法是用KeyedVectors.load_word2vec_format加载纯文本向量文件或者在新版本环境里重新训练。重新训练成本不高而且微博新词会随时间出现老模型里没有“绝绝子”这类词。5.3 从二分类扩展到四分类情绪标签simplifyweibo_4_moods.csv里的4_moods暗示可以做成四分类。SVM天然支持多分类内部使用one-vs-one策略。只需要把标签从0/1扩展到0、1、2、3重复上面的流程。此时注意两点scoring用f1_macro等价于每个类别F1的简单平均。给SVC增加class_weightbalanced让样本少的情绪类别获得更高的惩罚权重。SVC(kernelrbf, class_weightbalanced)这个参数让少数类样本的代价变大避免模型把所有样本推向多数类。如果某个类别的recall持续为0说明词向量表示对这类情绪区分度不足可以考虑在句子向量基础上拼接情感词典特征比如否定词个数、程度副词权重给SVM补充词向量之外的信号。本文还有配套的精品资源点击获取
