✍✍计算机毕设指导师**⭐⭐个人介绍自己非常喜欢研究技术问题专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目有源码或者技术上的问题欢迎在评论区一起讨论交流⚡⚡有什么问题可以在主页上或文末下联系咨询博客~~⚡⚡Java、Python、小程序、大数据实战项目集](https://blog.csdn.net/2301_80395604/category_12487856.html)⚡⚡文末获取源码温馨提示文末有CSDN平台官方提供的博客联系方式温馨提示文末有CSDN平台官方提供的博客联系方式温馨提示文末有CSDN平台官方提供的博客联系方式LLM多维度性能评估分析系统-简介基于HadoopDjango的LLM多维度性能评估分析系统采用Python语言开发结合Hadoop与Spark大数据框架处理海量评估数据后端依托Django框架提供稳定接口服务前端运用Vue与Echarts实现数据可视化展示。系统核心功能围绕任务特征分析、模型效能评估和失败模式分析三大维度展开。在任务特征分析方面系统对不同领域的题量分布、题型结构及难度层级进行统计并计算措辞清晰度与复杂度均值判断数据覆盖是否存在偏斜。模型效能分析模块对比多款大语言模型的总分、幻觉率、事实性及有用性等关键指标生成领域与模型的交叉效能热力矩阵。失败模式分析则聚焦各类失败类型的占比与模型间的失败交叉对比针对计算准确率与时效准确率进行专项过滤统计同时引入K-Means算法对性能指标进行无监督分群发现性能画像簇并利用FP-Growth算法挖掘领域、题型、难度与失败类型的频繁项集定位高风险任务组合。整套系统通过大数据技术栈实现对LLM多维度表现的科学量化为大模型优化提供直观的数据支撑。LLM多维度性能评估分析系统-技术大数据框架HadoopSpark本次没用Hive支持定制开发语言PythonJava两个版本都支持后端框架DjangoSpring Boot(SpringSpringMVCMybatis)两个版本都支持前端VueElementUIEchartsHTMLCSSJavaScriptjQuery数据库MySQLLLM多维度性能评估分析系统-背景这两年大语言模型发展挺快的各种AI工具层出不穷。大家平时用这些大模型的时候经常会发现有的模型写代码厉害有的模型算数学题容易翻车还有的模型动不动就胡说八道产生幻觉。对于搞科研或者开发的人来说光靠主观感觉去判断哪个模型好用肯定不行还是得有一套量化的评估标准。哪怕只是做一个小范围的测试积累下来的评估数据量也不小靠普通的单机脚本去跑分析肯定会卡顿。这就需要一个能处理较大数据量的大数据平台来帮忙算这些指标。本课题就是想搭一个基于HadoopSpark的评估分析平台把这些大模型的测试数据收集起来从多个维度去算算它们的表现到底怎么样也算是顺应现在AI技术发展做的一点点尝试。做这个课题的实际意义其实就是给大模型的评估提供一个能落地的工具。平时咱们想对比几个模型的好坏多是看看网上的跑分榜单但那些榜单不一定符合自己的实际业务需求。通过这个系统我们可以自己导入特定领域的测试题和模型回答算出幻觉分数、事实性得分这些具体的指标然后直接在网页上看到柱状图或者热力图。用Hadoop和Spark来跑数据主要是能保证以后数据量变大了系统也不会崩。另外系统里用K-Means把模型表现分个群再用FP-Growth找找哪些类型的题目最容易让模型出错这些分析结果能帮我们避开大模型的一些短板选对应用场景。整体来说这个毕设系统没有解决什么世界难题但作为一个本地的辅助分析工具实用性还是过得去的能给后面研究大模型的同学留点参考。LLM多维度性能评估分析系统-视频展示基于HadoopDjango的LLM多维度性能评估分析系统LLM多维度性能评估分析系统-图片展示LLM多维度性能评估分析系统-代码展示frompyspark.sqlimportSparkSession sparkSparkSession.builder.appName(LlmPerfEvalSystemAnalysis).config(spark.sql.shuffle.partitions,4).enableHiveSupport().getOrCreate()defanalyze_model_overall_score(spark_df):frompyspark.sql.functionsimportcol,avg,count,exprimportpandasaspd filtered_dfspark_df.filter(col(model_type).isNotNull()col(overall_score).isNotNull())grouped_dffiltered_df.groupBy(model_type)model_score_statsgrouped_df.agg(avg(overall_score).alias(avg_score),expr(percentile_approx(overall_score, 0.5)).alias(median_score),count(*).alias(sample_count))sorted_statsmodel_score_stats.orderBy(col(avg_score).desc())collected_datasorted_stats.collect()result_list[]forrowincollected_data:result_dict{model_type:row[model_type],avg_score:round(row[avg_score],2),median_score:round(row[median_score],2),sample_count:row[sample_count]}result_list.append(result_dict)pandas_dfpd.DataFrame(result_list)pandas_df.to_csv(output/LlmPerfEvalSystem_analysis/model_overall_score.csv,indexFalse)returnresult_listdefanalyze_performance_kmeans_clustering(spark_df):frompyspark.sql.functionsimportcol,avg,count,row_numberfrompyspark.sql.windowimportWindowfrompyspark.ml.featureimportVectorAssembler,StandardScalerfrompyspark.ml.clusteringimportKMeansimportpandasaspd feature_cols[hallucination_score,factuality_score,helpfulness_score,safety_score,overall_score]assemblerVectorAssembler(inputColsfeature_cols,outputColfeatures_raw)assembled_dfassembler.transform(spark_df).na.fill(0.0,subsetfeature_cols)scalerStandardScaler(inputColfeatures_raw,outputColfeatures,withMeanTrue,withStdTrue)scaler_modelscaler.fit(assembled_df)scaled_dfscaler_model.transform(assembled_df)kmeansKMeans(k4,seed42,featuresColfeatures,predictionColcluster_id)kmeans_modelkmeans.fit(scaled_df)clustered_dfkmeans_model.transform(scaled_df)cluster_summaryclustered_df.groupBy(cluster_id,model_type).agg(count(*).alias(model_count))windowWindow.partitionBy(cluster_id).orderBy(col(model_count).desc())ranked_summarycluster_summary.withColumn(rank,row_number().over(window)).filter(col(rank)1)cluster_aggclustered_df.groupBy(cluster_id).agg(avg(hallucination_score).alias(avg_hallucination),avg(overall_score).alias(avg_overall),count(*).alias(cluster_size))final_dfcluster_agg.join(ranked_summary.select(cluster_id,model_type),cluster_id)pandas_clusterfinal_df.toPandas()pandas_cluster.to_csv(output/LlmPerfEvalSystem_analysis/perf_kmeans_clusters.csv,indexFalse)returnpandas_cluster.to_dict(orientrecords)defanalyze_failure_fpgrowth(spark_df):frompyspark.sql.functionsimportcolfrompyspark.ml.fpmimportFPGrowthimportpandasaspd valid_dfspark_df.filter(col(failure_type).isNotNull()(col(failure_type)!)col(domain).isNotNull()col(prompt_type).isNotNull()col(difficulty).isNotNull())transactions_rddvalid_df.rdd.map(lambdarow:[str(row.domain),str(row.prompt_type),str(row.difficulty),str(row.failure_type)])transactions_dfspark.createDataFrame(transactions_rdd,[items])fpgrowthFPGrowth(itemsColitems,minSupport0.02,minConfidence0.3)fpgrowth_modelfpgrowth.fit(transactions_df)freq_itemsetsfpgrowth_model.freqItemsets freq_itemsets_pdfreq_itemsets.toPandas()freq_itemsets_pd[items]freq_itemsets_pd[items].apply(lambdax:,.join(map(str,x)))total_counttransactions_df.count()freq_itemsets_pd[support]freq_itemsets_pd[freq]/total_countiftotal_count0else0sorted_itemsetsfreq_itemsets_pd.sort_values(byfreq,ascendingFalse)sorted_itemsets.to_csv(output/LlmPerfEvalSystem_analysis/failure_fpgrowth.csv,indexFalse)returnsorted_itemsets.to_dict(orientrecords)LLM多维度性能评估分析系统-结语如果你觉得内容不错欢迎一键三连点赞、收藏、关注支持一下也欢迎在评论区或在博客主页上私信联系留下你的想法或提出宝贵意见期待与大家交流探讨谢谢实战项目有源码或者技术上的问题欢迎在评论区一起讨论交流如果遇到具体的技术问题或其他需求你也可以问我我会尽力帮你分析和解决问题所在支持我记得一键三连再点个关注学习不迷路~~
