1. 项目背景与选题价值拆解1.1 这个选题到底在做什么先把标题拆开看Hadoop、Spark、贷款数据、可视化分析、机器学习、毕业设计。这几个词组合在一起本质上就是一个离线大数据分析流水线的完整落地——用Hadoop的HDFS做分布式存储用Spark做分布式计算和特征工程最后接一个可视化前端把分析结果呈现出来中间穿插一两个机器学习模型做预测或聚类。数据源用的是公开的互联网贷款数据集这类数据集通常包含借款人基本信息、贷款金额、利率、期限、还款状态、年收入、工作年限、房屋所有权状态等字段记录数从几万到几十万不等。数据量不算特别大但字段维度丰富、脏数据多、类别不平衡明显非常适合拿来练手数据清洗、特征工程和模型调优的全流程。这个选题能解决什么问题说白了它把大数据技术栈和真实业务场景绑在了一起。很多同学的毕设要么是纯算法调参跑个MNIST就完事要么是纯Web增删改查跟大数据毫无关系。而这个选题要求你真正走一遍数据采集→存储→清洗→分析→建模→可视化的完整链路技术覆盖面广答辩时也好讲。适合谁来参考计算机、数据科学、信息管理相关专业的本科或硕士毕业生尤其是那些想做出看起来有技术含量、实际动手难度可控的毕设的同学。前提是你得会一点Java或Scala或Python懂基本的Linux操作剩下的都可以边做边学。1.2 为什么这个选题在毕设里经久不衰我带过几届学生的毕设也帮不少人看过开题报告。这个类型的选题每年都有人做原因很现实第一技术栈成熟且资料多。Hadoop和Spark的生态已经非常稳定网上能找到的教程、博客、视频铺天盖地。你遇到的大部分报错基本都能搜到解决方案。这对时间紧、任务重的毕设来说太重要了。第二数据源公开且合规。互联网贷款数据是公开数据集不涉及隐私和商业机密拿来直接用没有法律风险。而且这类数据天然带有分析价值——逾期预测、风险分级、用户画像随便拎一个出来都能撑起一个章节。第三可视化效果好答辩加分。人都是视觉动物答辩老师看到一堆图表、仪表盘、热力图第一印象就会觉得这学生做了不少工作。相比之下纯后端项目在演示环节往往吃亏。第四机器学习有发挥空间。你可以在上面加分类模型预测是否违约、聚类模型用户分群、回归模型预测贷款金额甚至做个简单的推荐给用户推荐合适的贷款产品。模型不用多复杂逻辑回归、随机森林、KMeans就够用关键是把流程跑通、把结果解释清楚。但我也要泼一盆冷水这个选题的坑不少。环境配置能卡掉一批人数据清洗能卡掉一批人Spark调优又能卡掉一批人。下面我会把每个环节的坑都给你标出来。2. 技术选型与整体架构设计2.1 为什么是HadoopSpark而不是别的组合先回答一个很多人会问的问题数据量就几十万条用Excel都能打开为什么非要上Hadoop和Spark从技术必要性上讲确实有点杀鸡用牛刀。但从毕设的角度讲技术栈的完整性和答辩的可讲述性比实际性能更重要。老师看的是你有没有掌握这套体系而不是你的数据有多大。那为什么选HadoopSpark而不是Flink、Hive on Tez、或者纯PandasHadoop提供HDFS分布式存储是整套体系的地基。虽然现在很多新项目直接用对象存储但毕设里用HDFS能体现你对分布式文件系统的理解。而且Hadoop的安装配置本身就是个考点答辩时老师很爱问。Spark计算引擎支持批处理和流处理API友好Scala/Python/Java都能写MLlib自带机器学习算法。相比MapReduceSpark的代码量少一个数量级开发效率高太多。Hive可选。如果你想让SQL能力也体现出来可以加一层Hive做数据仓库用HiveQL做初步的聚合统计。但不是必须的加了会增加环境复杂度。可视化ECharts、Pyecharts、Superset、Tableau都可以。毕设推荐ECharts或Pyecharts因为免费、文档全、效果炫而且能直接嵌入Web页面。我的建议是HadoopHDFSYARN SparkSpark SQLMLlib Hive可选 ECharts/Pyecharts Flask/Django。这套组合覆盖了存储、计算、查询、建模、展示全链路技术点足够多又不至于复杂到做不完。2.2 整体架构分层说明整个系统可以分成四层我用文字描述一下数据流向数据层原始CSV文件放在本地通过HDFS命令上传到分布式文件系统。如果数据量小也可以直接放本地用Spark读取但为了体现Hadoop的作用建议走HDFS。计算层Spark从HDFS读取数据做清洗、转换、聚合。清洗包括去重、缺失值处理、异常值处理、类型转换。聚合包括按地区统计贷款分布、按收入段统计违约率、按贷款等级统计平均利率等。模型层用Spark MLlib训练分类模型预测违约和聚类模型用户分群。特征工程在Spark里完成包括独热编码、标准化、特征选择。模型评估用AUC、准确率、召回率等指标。展示层把Spark计算的结果导出成JSON或CSV前端用ECharts渲染成柱状图、折线图、饼图、地图、词云等。也可以做一个简单的Web界面用Flask提供API前端异步请求数据。这里有个关键决策点计算结果怎么传给前端两种方案方案做法优点缺点离线导出Spark结果存MySQL/CSV前端直接读简单稳定不依赖Spark常驻数据不实时在线查询Flask调Spark Thrift Server看起来更实时环境复杂容易崩毕设推荐第一种。离线跑完Spark任务把结果落到MySQL前端从MySQL读。稳定、好调试、答辩演示不会翻车。2.3 环境版本选择与避坑版本兼容性是HadoopSpark环境最大的坑。我见过太多人因为版本不匹配光配环境就花了一周。推荐一套经过验证的稳定组合JDK 1.8必须Spark 3.x之前对JDK 11支持不好 Hadoop 3.2.4 Spark 3.2.4编译时选Hadoop 3.2版本 Scala 2.12Spark 3.x默认 Hive 3.1.3可选 MySQL 8.0 Python 3.8如果用PySpark注意JDK版本一定要用1.8。我试过JDK 11和JDK 17Spark各种莫名其妙的序列化错误换成1.8立刻就好。这不是玄学是Spark 3.2对高版本JDK的兼容性确实有问题。另外如果你用Windows开发强烈建议在Linux虚拟机或WSL2里跑。Hadoop在Windows上需要额外编译winutils坑多且没必要。用VMware装个Ubuntu 20.04或者直接用WSL2省心很多。3. 数据清洗与特征工程实操3.1 贷款数据集的典型脏数据长什么样互联网贷款公开数据集我处理过好几个版本脏数据的套路基本一致缺失值年收入、工作年限、房屋所有权状态经常为空。有些字段缺失率能到10%以上。异常值年收入填9999999贷款金额填0或负数利率超过100%。格式混乱日期字段有的用Jan-2020有的用2020/01/15有的用时间戳。类别不平衡违约样本通常只占5%-15%直接训练模型会偏向多数类。重复记录同一借款人多次申请或者数据抓取时重复入库。这些问题不处理后面分析全是错的。比如年收入有异常值算平均收入就会被拉高违约样本不均衡模型准确率看着高实际全是预测不违约。3.2 用Spark做清洗的完整代码思路下面是一段PySpark的清洗代码框架我把它拆成几步讲from pyspark.sql import SparkSession from pyspark.sql.functions import col, when, mean, count, isnan, isnull from pyspark.sql.types import DoubleType, IntegerType spark SparkSession.builder \ .appName(LoanDataCleaning) \ .master(yarn) \ .getOrCreate() # 读取HDFS上的原始数据 df spark.read.csv(hdfs:///user/loan/raw/loan_data.csv, headerTrue, inferSchemaTrue) # 1. 查看缺失情况 for c in df.columns: miss df.filter(col(c).isNull() | isnan(col(c))).count() print(f{c}: {miss} missing) # 2. 删除缺失率超过30%的列根据实际情况调整 threshold df.count() * 0.3 cols_to_drop [c for c in df.columns if df.filter(col(c).isNull()).count() threshold] df df.drop(*cols_to_drop) # 3. 数值列用中位数填充类别列用众数填充 num_cols [annual_inc, loan_amnt, int_rate, dti] for c in num_cols: median_val df.approxQuantile(c, [0.5], 0.01)[0] df df.fillna({c: median_val}) # 4. 处理异常值用分位数截断 for c in num_cols: q1, q3 df.approxQuantile(c, [0.25, 0.75], 0.01) iqr q3 - q1 lower q1 - 1.5 * iqr upper q3 1.5 * iqr df df.withColumn(c, when(col(c) lower, lower) .when(col(c) upper, upper) .otherwise(col(c))) # 5. 去重 df df.dropDuplicates([loan_id]) # 6. 保存清洗后数据 df.write.mode(overwrite).parquet(hdfs:///user/loan/cleaned/)这段代码有几个关键点为什么用中位数而不是均值填充因为贷款数据的收入、金额字段分布右偏严重均值容易被极端值拉高中位数更稳健。为什么用IQR截断而不是直接删直接删会损失大量样本尤其在小数据集上。截断保留了样本量同时限制了极端值的影响。当然如果异常值明显是录入错误比如收入9999999直接删更合理。为什么存成ParquetParquet是列式存储压缩率高Spark读取快而且保留schema。比CSV适合后续分析。3.3 特征工程的关键操作清洗完只是第一步真正影响模型效果的是特征工程。贷款数据里几个核心特征的处理方式收入字段原始年收入是连续值直接放模型里效果一般。可以分箱成低收入/中收入/高收入或者取对数平滑分布。工作年限同样可以分箱比如1年、1-3年、3-5年、5-10年、10年以上。分箱后做独热编码。贷款等级这是类别特征直接做StringIndexerOneHotEncoder。利率连续值做标准化减均值除标准差。违约标签把Current、Fully Paid归为0Charged Off、Late归为1。注意多分类转二分类的逻辑要讲清楚。from pyspark.ml.feature import StringIndexer, OneHotEncoder, VectorAssembler, StandardScaler # 类别特征编码 cat_cols [grade, home_ownership, purpose, emp_length_bin] indexers [StringIndexer(inputColc, outputColc_idx, handleInvalidkeep) for c in cat_cols] encoders [OneHotEncoder(inputColc_idx, outputColc_vec) for c in cat_cols] # 数值特征标准化 num_cols [annual_inc_log, int_rate, dti, loan_amnt] assembler VectorAssembler(inputColsnum_cols, outputColnum_vec) scaler StandardScaler(inputColnum_vec, outputColnum_scaled) # 合并所有特征 final_assembler VectorAssembler( inputCols[c_vec for c in cat_cols] [num_scaled], outputColfeatures )实操心得StringIndexer的handleInvalid参数一定要设成keep否则遇到新类别会报错。另外独热编码后特征维度会膨胀如果类别太多比如purpose有20种可以考虑先做频次筛选把低频类别归为Other。4. 机器学习建模与调优4.1 违约预测模型怎么选贷款数据的核心业务问题是预测借款人会不会违约。这是个典型的二分类问题。可选模型很多毕设里推荐从简到繁逻辑回归最简单可解释性强能输出概率。适合做baseline。缺点是线性模型拟合能力有限。随机森林集成模型抗过拟合能输出特征重要性。调参相对简单效果通常比逻辑回归好。梯度提升树GBTSpark MLlib自带效果通常最好但训练慢调参复杂。我的建议是逻辑回归随机森林两个都做对比效果。答辩时讲清楚为什么随机森林更好或者为什么逻辑回归够用比只跑一个模型有说服力。4.2 处理类别不平衡的三种手段违约样本少模型会偷懒全预测不违约准确率还有85%但召回率接近0。三种处理方式过采样复制少数类样本。简单但容易过拟合。欠采样随机丢弃多数类样本。简单但损失信息。加权在训练时给少数类更高权重。Spark的LogisticRegression和RandomForest都支持weightCol参数。毕设推荐加权法因为不用改数据分布代码改动小from pyspark.ml.classification import RandomForestClassifier # 计算权重 total df.count() neg df.filter(col(label) 0).count() pos df.filter(col(label) 1).count() weight_neg total / (2 * neg) weight_pos total / (2 * pos) df df.withColumn(weight, when(col(label) 1, weight_pos).otherwise(weight_neg)) rf RandomForestClassifier( featuresColfeatures, labelCollabel, weightColweight, numTrees100, maxDepth8, seed42 )4.3 模型评估与调参评估指标不能只看准确率。贷款场景下AUC、召回率、F1更重要。因为漏掉一个会违约的人损失远大于误拒一个好人。from pyspark.ml.evaluation import BinaryClassificationEvaluator, MulticlassClassificationEvaluator auc BinaryClassificationEvaluator(labelCollabel, metricNameareaUnderROC).evaluate(pred) f1 MulticlassClassificationEvaluator(labelCollabel, metricNamef1).evaluate(pred) recall MulticlassClassificationEvaluator(labelCollabel, metricNameweightedRecall).evaluate(pred)调参用CrossValidatorParamGridBuilderfrom pyspark.ml.tuning import CrossValidator, ParamGridBuilder paramGrid ParamGridBuilder() \ .addGrid(rf.numTrees, [50, 100, 200]) \ .addGrid(rf.maxDepth, [5, 8, 12]) \ .build() cv CrossValidator(estimatorrf, estimatorParamMapsparamGrid, evaluatorauc, numFolds3) cv_model cv.fit(train)注意CrossValidator很耗资源3折×9组参数27次训练。如果数据量大跑一次可能几十分钟。建议先用小样本调参确定大致范围后再全量训练。4.4 聚类分析做用户分群除了分类还可以用KMeans做用户分群。选几个核心特征收入、贷款金额、利率、DTI标准化后聚类把用户分成优质客户高风险客户中等客户等群体。from pyspark.ml.clustering import KMeans from pyspark.ml.evaluation import ClusteringEvaluator kmeans KMeans(featuresColnum_scaled, k4, seed42) model kmeans.fit(df) predictions model.transform(df) evaluator ClusteringEvaluator(featuresColnum_scaled) silhouette evaluator.evaluate(predictions) print(fSilhouette Score: {silhouette})K值怎么选跑k2到8看轮廓系数和业务解释性。轮廓系数越高越好但也要看每个簇的规模是否均衡、业务上是否说得通。5. 可视化实现与前端展示5.1 可视化图表选型贷款数据分析适合的图表类型分析目标推荐图表说明贷款金额分布直方图看集中趋势和偏态违约率按地区地图用ECharts地图组件收入与违约关系箱线图对比不同收入段的违约分布贷款等级占比饼图/环形图直观展示构成利率随时间变化折线图看趋势特征重要性横向柱状图模型解释用户分群散点图两个特征做二维投影5.2 用Pyecharts快速出图Pyecharts是Python里做ECharts图表的库毕设里用起来很快from pyecharts.charts import Bar, Pie, Map from pyecharts import options as opts # 违约率按地区 data [(北京, 0.08), (上海, 0.06), (广东, 0.09), (浙江, 0.07)] map_chart Map() map_chart.add(违约率, data, china) map_chart.set_global_opts( title_optsopts.TitleOpts(title各地区贷款违约率分布), visualmap_optsopts.VisualMapOpts(max_0.15, is_piecewiseTrue) ) map_chart.render(default_rate_map.html)生成的HTML可以直接嵌入Flask模板或者单独打开演示。5.3 前后端整合方案如果要做成Web系统推荐架构后端Flask提供REST API从MySQL读Spark计算结果返回JSON。前端HTMLECharts用AJAX请求API动态渲染图表。数据库MySQL存聚合结果和模型预测结果。from flask import Flask, jsonify import pymysql app Flask(__name__) app.route(/api/default_by_grade) def default_by_grade(): conn pymysql.connect(hostlocalhost, userroot, passwordxxx, dbloan) cursor conn.cursor() cursor.execute(SELECT grade, default_rate FROM stats_by_grade) data [{grade: r[0], rate: float(r[1])} for r in cursor.fetchall()] return jsonify(data)前端fetch(/api/default_by_grade) .then(res res.json()) .then(data { const chart echarts.init(document.getElementById(chart)); chart.setOption({ xAxis: { type: category, data: data.map(d d.grade) }, yAxis: { type: value }, series: [{ type: bar, data: data.map(d d.rate) }] }); });实操心得Flask开发时记得开debug模式改代码自动重启。但答辩演示时一定要关debug否则报错页面会暴露源码路径不专业。6. 常见问题与排查技巧实录6.1 环境配置类问题问题Spark提交任务报ClassNotFoundException: com.mysql.jdbc.Driver原因缺少MySQL JDBC驱动或者驱动没放到Spark的classpath。解决下载mysql-connector-java-8.0.xx.jar放到$SPARK_HOME/jars/目录下或者在spark-submit时用--jars参数指定。问题HDFS上传文件报Could not obtain block原因DataNode没启动或者防火墙挡了端口。解决jps检查进程确保NameNode、DataNode、ResourceManager、NodeManager都在。检查防火墙规则确保50010、50020、8020等端口开放。问题Spark任务卡在ACCEPTED状态不动原因YARN资源不足或者队列配置有问题。解决检查YARN的可用内存和vcore调大yarn.nodemanager.resource.memory-mb。如果是单机伪分布式把spark.executor.memory调小一点。6.2 数据处理类问题问题approxQuantile报UnsupportedOperationException原因某些Spark版本对approxQuantile支持不好或者列类型不对。解决确保列是数值类型或者改用percentile_approx SQL函数。问题OneHotEncoder输出维度爆炸原因类别特征基数太大比如purpose有几十种。解决先统计频次把出现次数少于阈值的类别统一归为Other再做编码。问题模型AUC很高但实际预测全是0原因类别不平衡没处理模型退化成多数类预测器。解决检查标签分布加weightCol或者改用AUC以外的指标如召回率评估。6.3 可视化类问题问题ECharts地图不显示原因地图JSON没加载或者地区名称不匹配。解决确保引入china.js地图文件地区名称用标准简称如北京而不是北京市。问题前端请求API跨域原因Flask默认不允许跨域。解决安装flask-cors加一行CORS(app)即可。6.4 答辩演示类问题问题演示时Spark任务跑太久老师等不及解决提前把结果跑好存MySQL演示时只展示前端和已保存的结果。如果非要现场跑用采样后的小数据集。问题老师问为什么不用Flink回答思路Flink擅长流处理本项目的贷款数据是离线批量分析Spark的批处理生态更成熟MLlib集成更好。如果要做实时风控Flink确实更合适但毕设场景下Spark足够。7. 项目扩展与个人经验分享7.1 可以继续深挖的方向这个项目做完基础版后还有不少扩展空间实时化改造把Spark Streaming接进来模拟实时贷款申请数据流做实时违约概率预测。技术点更多但复杂度也上一个台阶。推荐系统根据用户特征推荐合适的贷款产品和利率。可以用协同过滤或基于内容的推荐。模型可解释性用SHAP或LIME解释模型预测告诉用户为什么你被判定为高风险。这在金融场景里很重要。自动化报表用Airflow或Azkaban做任务调度每天定时跑Spark任务生成日报。7.2 我踩过的几个坑坑一数据泄露。我一开始把还款状态相关的字段也放进了特征里结果模型AUC 0.99高兴了半天。后来发现还款状态直接决定了标签这是典型的数据泄露。做特征工程时一定要想清楚这个字段在预测时能不能拿到坑二过拟合。随机森林maxDepth设了20训练集准确率99%测试集只有80%。后来把深度降到8加了minInstancesPerNode5测试集提升到86%。树模型一定要控制深度和叶子节点最小样本数。坑三可视化数据量太大。我一开始把几十万条原始数据直接传给前端浏览器直接卡死。后来改成后端聚合只传统计结果流畅多了。前端只负责展示不负责计算。坑四版本不兼容。Spark 3.2配Scala 2.13编译报错换成2.12就好了。Hadoop 3.3配Spark 3.0也有问题。版本组合一定要查官方文档别自己瞎配。7.3 给后来者的建议如果你正在做或准备做这个选题我的建议是先跑通最小闭环再优化。不要一上来就搞集群、搞调优。先用单机模式用采样后的小数据把读取→清洗→分析→建模→可视化整条链路跑通。跑通之后再逐步加数据量、加节点、加模型。代码要模块化。把数据清洗、特征工程、模型训练、结果导出拆成独立的脚本或函数。这样调试方便答辩时也好讲。文档和注释要写。毕设不只是代码还有论文。你写代码时顺手把注释写好写论文时直接复制粘贴省大量时间。提前准备答辩问题。老师常问的问题为什么选这个技术栈数据量多大模型效果如何遇到过什么问题怎么解决的这些都要提前想好答案。最后说一句这个选题的难度属于中等偏上工作量不小但技术含量足够答辩时有的聊。只要你肯花时间把环境配好、把数据清洗干净、把模型跑出合理结果拿个良好以上的成绩问题不大。真正拉开差距的是你在可视化效果和业务解释上花了多少心思。
