UCI 玻璃数据集多分类实战：Pandas 1.5 + Matplotlib 3.8 可视化与 9 个化学属性分析

UCI 玻璃数据集多分类实战从化学属性到类型预测的完整分析流程玻璃在我们日常生活中无处不在从建筑窗户到手机屏幕不同类型的玻璃具有截然不同的物理和化学特性。如何通过实验室测量数据准确判断一块玻璃碎片的来源这正是UCI玻璃数据集要解决的有趣问题。本文将带您完整走通这个经典多分类问题的分析流程从数据清洗到可视化再到特征工程与模型构建。1. 数据集概览与预处理UCI玻璃数据集包含214个样本每个样本记录了9种化学成分的含量比例以及折射率RI目标变量是玻璃类型共7类。这些数据源自刑事调查场景通过分析犯罪现场遗留的玻璃碎片化学成分可追溯其来源如车窗、容器等。首先加载并检查数据import pandas as pd url https://archive.ics.uci.edu/ml/machine-learning-databases/glass/glass.data cols [Id,RI,Na,Mg,Al,Si,K,Ca,Ba,Fe,Type] glass pd.read_csv(url, headerNone, namescols)查看数据摘要统计print(glass.describe().T[[mean,std,min,max]])输出显示各特征量纲差异显著如Ca含量均值为8.96而Fe仅0.057需要进行标准化处理from sklearn.preprocessing import StandardScaler features glass.iloc[:,1:-1] scaler StandardScaler() scaled_features scaler.fit_transform(features)2. 探索性数据分析EDA2.1 化学成分分布对比使用箱线图观察各成分在不同玻璃类型中的分布差异import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12,8)) sns.boxplot(dataglass.melt(id_varsType), xvariable, yvalue, hueType) plt.xticks(rotation45) plt.title(Chemical Composition Distribution by Glass Type) plt.show()关键发现Mg含量建筑窗户玻璃类型1/2显著高于车辆玻璃类型3Ba含量仅在某些特殊玻璃类型如类型7中出现Fe含量建筑平板玻璃类型1普遍高于其他类型2.2 特征相关性分析生成热力图观察特征间相关性corr_matrix glass.iloc[:,1:-1].corr() plt.figure(figsize(10,8)) sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm, center0) plt.title(Feature Correlation Heatmap) plt.show()显著相关性包括RI与Ca强正相关0.81Mg与Al负相关-0.48Na与Ba正相关0.33提示高相关性特征可考虑在建模时进行降维处理3. 高级可视化技术3.1 平行坐标图平行坐标图能直观展示多维特征与类别的关系from pandas.plotting import parallel_coordinates plt.figure(figsize(12,8)) parallel_coordinates(glass.iloc[:,1:], Type, colormapviridis, alpha0.5) plt.title(Parallel Coordinates Plot) plt.xticks(rotation45) plt.grid(alpha0.3) plt.show()该图清晰显示类型1和2在Mg、Ca维度有明显区分类型5和6在Ba维度有独特分布类型3在多个维度上与其他类型重叠3.2 t-SNE降维可视化使用t-SNE将高维数据降至2D空间from sklearn.manifold import TSNE tsne TSNE(n_components2, random_state42) tsne_results tsne.fit_transform(scaled_features) plt.figure(figsize(10,8)) sns.scatterplot(xtsne_results[:,0], ytsne_results[:,1], hueglass[Type], paletteviridis, s100) plt.title(t-SNE Visualization of Glass Types) plt.show()结果显示类型3和5存在明显重叠预示这些类别可能更难区分。4. 特征工程与建模4.1 特征重要性分析使用随机森林评估特征重要性from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier(n_estimators500, random_state42) rf.fit(scaled_features, glass[Type]) importance pd.DataFrame({ Feature: features.columns, Importance: rf.feature_importances_ }).sort_values(Importance, ascendingFalse)重要性排序Mg (0.23)RI (0.18)Al (0.15)Ba (0.12)Ca (0.10)4.2 构建分类模型比较三种主流算法的表现from sklearn.model_selection import cross_val_score from sklearn.svm import SVC from sklearn.ensemble import GradientBoostingClassifier models { Random Forest: RandomForestClassifier(n_estimators300), SVM: SVC(kernelrbf, C10, gamma0.1), Gradient Boosting: GradientBoostingClassifier(n_estimators200) } results {} for name, model in models.items(): scores cross_val_score(model, scaled_features, glass[Type], cv5) results[name] scores.mean() print(pd.DataFrame.from_dict(results, orientindex, columns[Accuracy]))模型表现对比模型准确率Random Forest0.72SVM0.68Gradient Boosting0.754.3 类别不平衡处理数据集存在明显类别不平衡类型1有70个样本类型6仅9个采用SMOTE过采样from imblearn.over_sampling import SMOTE smote SMOTE(random_state42) X_res, y_res smote.fit_resample(scaled_features, glass[Type]) gb GradientBoostingClassifier(n_estimators200) scores cross_val_score(gb, X_res, y_res, cv5) print(fAccuracy after SMOTE: {scores.mean():.2f})处理后准确率提升至0.81特别是对小类别的识别率显著改善。5. 模型解释与业务应用5.1 SHAP值分析解释模型预测的依据import shap explainer shap.TreeExplainer(rf) shap_values explainer.shap_values(scaled_features) plt.figure(figsize(12,8)) shap.summary_plot(shap_values, scaled_features, feature_namesfeatures.columns, class_namesglass[Type].unique()) plt.show()分析显示高Mg值对预测为建筑窗户玻璃类型1/2有显著贡献Ba含量是识别特殊玻璃类型类型7的关键指标低Al值有助于识别车辆玻璃类型35.2 实际应用建议基于分析结果建议法证实验室优先检测指标Mg、Ba、RI、Al检测流程优化先测Mg含量快速区分建筑与车辆玻璃对含Ba样本进行二次验证设备配置确保折射率测量精度达±0.0001微量元素检测需达到ppm级灵敏度典型判断流程graph TD A[开始检测] -- B{Mg 3.5%?} B --|是| C[可能为建筑玻璃] B --|否| D[检测Ba含量] D -- E{Ba 0.1%?} E --|是| F[特殊玻璃类型] E --|否| G[车辆或容器玻璃]6. 分析流程优化与扩展6.1 自动化分析流水线构建可复用的分析管道from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer preprocessor ColumnTransformer( transformers[(scaler, StandardScaler(), features.columns)]) pipeline Pipeline([ (preprocessor, preprocessor), (smote, SMOTE(random_state42)), (classifier, GradientBoostingClassifier(n_estimators200)) ]) # 保存模型供后续使用 import joblib joblib.dump(pipeline, glass_classifier.pkl)6.2 新数据预测示例加载新样本进行预测new_samples pd.DataFrame({ RI: [1.520, 1.525], Na: [13.5, 12.8], Mg: [3.8, 0.5], Al: [1.2, 1.8], Si: [72.5, 73.0], K: [0.5, 0.3], Ca: [8.5, 9.2], Ba: [0.0, 0.2], Fe: [0.1, 0.05] }) pipeline joblib.load(glass_classifier.pkl) predictions pipeline.predict(new_samples) print(fPredicted types: {predictions})6.3 持续改进方向数据增强通过实验室实验补充稀有类别样本特征扩展考虑添加元素比值特征如Ca/Mg模型优化尝试深度学习模型处理非线性关系部署方案开发Web应用接口供实验室使用在实际项目中我们发现Mg含量与Al含量的比值对区分类型3和5特别有效这提示我们化学元素间的比例关系可能比绝对含量更具判别力。