简介这份一等奖论文围绕2012年全国大学生数学建模竞赛A题「葡萄酒的评价」展开面向备战数模竞赛的学生以及希望学习统计建模方法的读者系统回答评分差异检验、葡萄分级、指标关联与质量预测四问。压缩包内含1个PDF文件约2.41MB完整收录论文正文、摘要、问题重述、模型假设、符号说明及求解过程便于直接阅读并模仿其写作框架。目前已有2907人学习下载。内容以单样本K-S检验、Wilcoxon符号秩检验、肯德尔和谐系数、主成分分析、典型相关分析和多元线性回归为主线并配合MATLAB、SPSS、SAS与EXCEL实现读者可从中掌握非参数检验的适用条件、综合评价指标体系的构建思路以及理化指标筛选与回归建模的完整流程也能借鉴论文的摘要写法、图表组织和模型推广表述。1. 葡萄酒的评价先查“打分可不可信”再谈分级与回归葡萄酒的评价这类数学建模题很多人第一反应是把评酒员的分数平均一下排个序再算个相关系数就交卷。可真正让评分站得住脚的分析第一步恰恰不是算平均分而是问一句这两组评酒员给出的分数能不能放在一起用同一瓶酒两组人平均分接近不代表结论一致可能一组内部七嘴八舌、另一组整齐划一平均值一平均看着像一回事。赛题给的三张表——酒样评分、葡萄酒理化指标、酿酒葡萄理化指标——彼此独立放着谁也没说哪张先可信。这套方案要解决的就是“先验证评分数据本身再往下做分级、相关与回归”的完整链条两组品酒员的差异检验与信度评定、酿酒葡萄的主成分降维与分级、葡萄与葡萄酒指标的典型相关、再到用理化指标反推质量的可行性论证。适合正在做统计建模课设、需要一条从数据清洗到结论自证的多方法链路的同学直接照着搭。2. 评分数据的清洗与检验K-S 分布判定、Wilcoxon 配对检验与肯德尔和谐系数问题一表面上只是“两组有没有差异、谁更可信”但它实际上决定了后面所有问题的数据来源。红葡萄酒用哪组的分数、白葡萄酒用哪组的分数一旦选错分级结果和回归系数全部跟着偏。所以这一章的处理顺序是固定的先把脏数据修好再确认分布形态再选对检验方法最后用一致性指标给两组评分排名。2.1 缺失值与异常值先修补再谈检验附件里的评分表有两类毛病。一类是缺失比如某个品酒员对某酒样某个分项没打分表里是空的另一类是明显异常比如第一组白葡萄酒样品 3 的“持久性”评分里7 号品酒员打出 77 分而其他人都在 57 分之间这显然是手工录入时多敲了一位。缺失值用均值替换法把该分项里剔掉异常数据后剩下的有效分值求平均填回缺失格。理由是同一个酒样、同一个分项上不同品酒员的打分差异本身不大用同组均值填是失真最小的一种做法。异常值走“先剔除、后替换”两步不能直接按上限截断否则会人为拉高该分项的均值。提示替换前一定要留一份原始数据副本。答辩现场被问“你这个 6 分是原数据还是你补的”能立刻翻出来对比比口头解释有用得多。这一步看起来琐碎但它是整条链路里唯一不可回退的环节。数据补错了后面 Wilcoxon 检验的差值序列就错了肯德尔和谐系数也会跟着错而且错误会以“结果看起来正常”的方式潜伏下去。2.2 K-S 检验确认评分分布决定用参数还是非参数方法差异性检验的第一个岔路口是选参数检验还是非参数检验。参数检验要求数据近似正态这个前提不能靠“感觉评分应该正态”来假定得检验。做法是对每个酒样先算 10 位品酒员评分的均值得到每组 27 个红或 28 个白样本均值序列然后在 SPSS 里跑单样本 K-S 检验同时看正态 P-P 图。P-P 图上散点如果贴着对角线走说明经验累积分布和理论正态累积分布基本重合。第一组红葡萄酒的检验结果 p 0.525远大于 0.05不拒绝正态假设。这里有个容易被忽略的细节K-S 检验的统计量是经验分布与理论分布的最大垂直距离它对样本量敏感n 只有二十几个时检验力偏弱所以不能只看 p 值要配合 P-P 图一起判断。图上是直线、p 值又不显著才敢说“近似正态”。但即使评分本身近似正态两组评分是同一批酒样被两组人打分属于配对数据两组之间不独立。这个配对约束决定了后面不能用独立样本检验。2.3 Wilcoxon 符号秩检验配对数据的正确打开方式配对样本的检验如果差值序列服从正态用配对 t 检验但品酒员评分是感官打分差值分布没有把握说对称到可以当正态用于是用 Wilcoxon 符号秩检验。它只要求差值分布对称不要求正态鲁棒性更好。检验步骤可以拆成六步提出原假设“两组评价结果相同”取显著性水平 0.05样本量 n 27计算每对观测的差值 Dᵢ把 |Dᵢ| 从小到大排秩最小为 1遇到并列取平均秩把正负号还原回去分别求正秩和 T₊ 与负秩和 T₋取较小的那个作为统计量 T用 T 的均值 E(T) n(n1)/4 和方差 D(T) n(n1)(2n1)/24 做标准化得到近似标准正态的 z查表 |z| 1.96 就拒绝原假设。红葡萄酒算出的 z ≈ -2.53白葡萄酒 z ≈ -2.23都落在拒绝域里。结论是两组品酒员对红、白葡萄酒的评价结果都存在显著性差异。注意这个结论的方向它只说明“两组不一样”没说“哪组更好”谁更可信是下一节的事。用 Python 复现整条链路的骨架如下import numpy as np from scipy import stats # 1) 缺失值同一酒样、同一分项下用其余品酒员的有效均值填充 def fill_missing(df): # df 行品酒员列酒样空格记为 NaN return df.apply(lambda col: col.fillna(col[col.notna()].mean())) # 2) 异常值3 倍标准差为界先置空再按列均值替换 def fix_outlier(df, k3, ddof1): out df.copy() for col in out.columns: mu, sd out[col].mean(), out[col].std(ddofddof) mask (out[col] - mu).abs() k * sd if mask.any(): out.loc[mask, col] np.nan out[col] out[col].fillna(out[col].mean()) return out # 3) 单样本 K-S 检验标准化后与标准正态比较 def ks_normal(scores): z (scores - scores.mean()) / scores.std(ddof1) stat, p stats.kstest(z, norm) return stat, p # p 0.05 时认为近似正态 # 4) Wilcoxon 符号秩检验两组品酒员对同一批酒样的配对比较 def paired_test(score_a, score_b): stat, p stats.wilcoxon(score_a, score_b, alternativetwo-sided) return stat, p # p 0.05 说明两组存在显著性差异 # 5) 肯德尔和谐系数m 个品酒员对 n 个酒样评分的一致性 def kendall_w(mat): m, n mat.shape # 行品酒员列酒样 ranks np.apply_along_axis(stats.rankdata, 1, mat) # 每位品酒员各自排秩 R ranks.sum(axis0) # 每个酒样的秩和 Q ((R - R.mean()) ** 2).sum() W 12 * Q / (m ** 2 * (n ** 3 - n)) # 和谐系数 chi2 m * (n - 1) * W # 卡方检验统计量 p stats.chi2.sf(chi2, dfn - 1) return W, chi2, p三个参数值得说清楚k3是异常判定的松紧度题目数据量小取 3 比取 2 更保守避免把正常波动误杀ddof1用样本标准差n 只有 10 时总体标准差会系统性偏低alternativetwo-sided是双侧检验因为我们事先不知道哪组更高只想判断“是否不同”。如果换成单侧结论方向就带上了预设答辩时会被追问依据。2.4 肯德尔和谐系数把“可信度”变成一个可排序的数两组有差异只是事实描述题目还要判断哪组更可信。可信度没法直接测只能转成“组内一致性”一组品酒员彼此越一致这组的整体评分越可信。肯德尔和谐系数就是干这个的。设 m 位品酒员对 n 个酒样打分先对每位品酒员的打分各自排秩因为他可能整体给分偏高或偏低排秩能消掉这种尺度差异再算每个酒样的秩和 RⱼW 12Q / [m²(n³ - n)]其中 Q 是各秩和与秩和均值之差的平方和。W 越接近 1 越一致越接近 0 越分裂。四组结果算出来都在 0.04 左右绝对值不高——这符合感官评价的现实品酒员之间本来就有分歧。关键看相对大小和卡方检验χ² m(n-1)W自由度 n-1。红葡萄酒第一组的 χ² ≈ 11.54第二组 ≈ 11.26白葡萄酒第一组 ≈ 10.81第二组 ≈ 11.10。于是结论清晰红葡萄酒选第一组评分白葡萄酒选第二组评分后续所有建模都用这两组数据。这一句选择必须写进论文正文不能等到后面模型里凭空出现一组数据评审一看就知道链路断了。3. 酿酒葡萄分级主成分降维、AHP 赋权与七级阶梯模型问题二要把葡萄分成若干等级。表面是多指标综合评价难点在指标本身27 个理化指标彼此高度相关直接加权会把同一份信息重复计入好几遍。所以这一章的顺序是“先压缩指标、再搭层级、再定权重、最后给分级阈值”一步都不能跳。3.1 主成分分析27 个指标压缩成 8 个不相关的综合因子先解决量纲问题。27 个指标里有的是百分含量有的是质量克数有的是色差坐标直接算相关系数会被量纲带偏。所以先做标准化每个指标减去自身均值、除以自身标准差。标准化不改变变量间的相关系数只是把尺度拉到同一水平。然后求 27×27 的相关系数矩阵 R求特征值和特征向量按特征值从大到小排列。红葡萄的结果是前 8 个主成分累计解释 83.044% 的方差第一个主成分单独解释 23.221%。累计贡献率到 80% 以上是主成分分析的常规门槛这里取 8 个刚好过线。比数字更重要的是载荷的解释。正交旋转后各主成分对应的指标组合是这样的主成分主要载荷指标业务含义1葡萄总黄酮、总酚、DPPH 自由基、单宁抗氧化与酚类物质2总糖、可溶性固形物、干物质含量成熟度与糖分积累3苹果酸、褐变度酸度与氧化程度4果皮质量、果穗质量果穗结构5色差 a值、b值色泽6可滴定酸、固酸比酸度平衡7黄酮醇次生代谢物8酒石酸有机酸组成这张表是把统计输出翻译成业务语言的产物。没有它8 个主成分只是 8 列无意义的数字答辩时被问“第一主成分代表什么”就答不上来。载荷绝对值大于 0.5 的指标才写进表里这条筛选规则要明确说明。3.2 三层指标体系2 个一级、12 个二级、27 个三级指标体系按评价目的搭成三层。顶层两个一级指标R₁ 是酿酒葡萄自身的理化指标R₂ 是葡萄酒的质量。R₁ 下面挂 8 个二级指标就是上面那 8 个主成分R₂ 下面挂 4 个二级指标即外观、香气、口感、整体评价。再往下拆成三级指标一共 27 个其中外观拆澄清度、色调香气拆纯正度、浓度、质量口感拆纯正度、浓度、持久性、质量再加上整体评价正好对应评分表里的十个分项。这个结构的意义在于它把“葡萄好不好”和“酿出来的酒好不好”并列放进同一个评价框架而不是只看葡萄本身。评价一瓶酒、一批葡萄两个维度都该有权重。3.3 AHP 定权重判断矩阵与一致性检验27 个三级指标对分级的影响显然不一样。定权重用层次分析法先按各指标在样本中的分布情况和评分结果构造 8×8 的一级判断矩阵因子之间两两比较相对重要程度用 19 标度及其倒数求最大特征值对应的特征向量归一化后就是权重向量。一致性检验是这一步的硬门槛。最大特征值 λ 与阶数 n 的偏离程度 CI (λ - n)/(n - 1)查随机一致性指标 RICR CI/RICR 0.1 才认为判断矩阵的逻辑自洽。红葡萄的判断矩阵 λ 8CI 0.013单层 CR 0 0.1组合一致性比率 0.029 0.1通过。权重里比较显眼的是口感质量 0.0987、整体评价 0.0915、澄清度 0.0253、色调 0.0507理化指标那一侧葡萄总黄酮 0.0271、总酚 0.0270、DPPH 自由基 0.0254、单宁 0.0247。数值都不大因为 27 个指标要分摊总和为 1 的权重比的是相对大小而不是绝对高低。3.4 一致化、无量纲化与阶梯分级评价前还有两道预处理。一是一致化27 个指标里既有“越大越好”的极大型如总酚也有“越小越好”的极小型还有“落在中间某段最好”的中间型如某些酸度指标。极小型用 x M - x 平移翻转为极大型中间型用分段函数以最优区间中心为界两侧分别线性映射到 01。二是无量纲化用极差化 x* (x - m)/(M - m)把所有指标压到 [0, 1]消掉量纲和数量级的差异。然后加权合成y Σ wₚ xₚ逐层往上传得到每个葡萄样本的综合评价值。评价值越大葡萄质量越好。分级用阶梯模型把 [0, 1] 的评价值切成八段级别super1st2sec3rd4th5th6th7th评价值 y[0.8, 1][0.7, 0.8)[0.6, 0.7)[0.5, 0.6)[0.4, 0.5)[0.3, 0.4)[0.2, 0.3)[0, 0.2)核心代码如下import numpy as np import bisect # 指标一致化 极差化全部转成极大型并压到 0~1 def normalize(X, kinds): # X: n 个样本 × p 个指标kinds 取值 max / min / mid Xn X.astype(float).copy() for j, kind in enumerate(kinds): col Xn[:, j] M, m col.max(), col.min() if kind min: # 极小型平移翻转 col M - col elif kind mid: # 中间型以中点为界分段映射 mid (M m) / 2 col np.where(col mid, 2 * (col - m) / (M - m), 2 * (M - col) / (M - m)) Xn[:, j] (col - col.min()) / (col.max() - col.min()) return Xn # AHP特征向量归一化为权重并给出一致性比率 def ahp_weights(A): vals, vecs np.linalg.eig(A) k int(np.argmax(vals.real)) lam vals[k].real w (vecs[:, k] / vecs[:, k].sum()).real # 归一化权重向量 n A.shape[0] CI (lam - n) / (n - 1) RI {1: 0, 2: 0, 3: 0.58, 4: 0.90, 5: 1.12, 6: 1.24, 7: 1.32, 8: 1.41} CR CI / RI[n] if RI[n] else 0.0 return w, CI, CR # CR 0.1 视为通过 # 加权求和 阶梯分级 def grade(scores, w): y scores w cuts [0, .2, .3, .4, .5, .6, .7, .8, 1.0001] labels [7th, 6th, 5th, 4th, 3rd, 2sec, 1st, super] return y, [labels[bisect.bisect_right(cuts, s) - 1] for s in y]kinds列表的顺序必须和指标列顺序严格一一对应这是最容易出错的地方——顺序错一位极小型指标就被当成极大型处理分级结果会整体位移而且不会报错。cuts的上界写 1.0001 是为了让 y 1 的样本落在 super 里bisect_right找的是插入位置减 1 才对应到区间标签。红葡萄 27 个样本的结果样本 23 的评价值 0.80落在 super 级为最优样本 12 评价值 0.23落在 6th 级质量最差。整体分布集中在 2sec 和 3rd 两档t 级样本 0 个7th 级只有 1 个。这个分布形态在方案里要专门解释一句等级越高对各项指标同时达到最优的要求越苛刻能达到的样本自然越少等级越低要求指标同时远离最优同样稀少。中间档扎堆是正常现象不是模型失效。4. 两组指标怎么搭桥典型相关分析到多元线性回归的可行性论证问题三和问题四是一对上下游先搞清楚葡萄的理化指标和葡萄酒的理化指标之间到底怎么关联再判断能不能反过来用这些指标去评价酒的质量。前者是描述后者是预测方法不能混用。4.1 典型相关分析两组变量之间的线性组合配对为什么不能直接用简单相关因为葡萄有 30 个理化指标葡萄酒有 9 个两两算相关系数会得到 270 个数字而且每个数字都忽略了组内其他变量的影响。葡萄总酚和葡萄酒单宁的相关可能大部分是“总酚和总黄酮高度相关、总黄酮又和单宁相关”传导过来的假象。典型相关的思路是不比较单个变量而是分别找出两组变量各自的线性组合让这两个组合之间的相关系数最大。数学上是求矩阵 A R₁₁⁻¹R₁₂R₂₂⁻¹R₂₁ 的特征根 λᵢ²典型相关系数就是 λᵢ对应的特征向量给出组合系数。建模步骤分四步把两组指标数据拼成 39 列的观测阵并中心化标准化后算相关系数矩阵 R按指标归属切分成 R₁₁、R₁₂、R₂₁、R₂₂ 四块求特征根和特征向量得到成对的典型变量对每个典型相关系数做显著性检验不显著的对就不往下讨论。结论落在三条业务解释上这才是这类题真正拿分的地方第一增大酿酒葡萄的果皮含量对葡萄酒中 DPPH 半抑制体积含量的增加有重要影响。果皮是酚类物质的来源果皮占比高浸提出的抗氧化成分就多。第二酿酒葡萄中的苹果酸不仅促进发酵还对红葡萄酒中起主要呈色作用的花色苷、以及对花色苷起中等辅色作用的单宁起到保护作用使红葡萄酒呈色亮丽。第三在葡萄总黄酮消除自由基的抗氧化作用与总酚保护清除自由基的共同作用下酿酒葡萄中的 DPPH 自由基转化为葡萄酒中的 DPPH 半抑制体积。这三条不是统计输出的复述而是把载荷符号和大小翻译成酿酒工艺语言。写方案时典型载荷表必须放出来只给一句“存在显著相关”是过不了验收的。4.2 多元线性回归指标筛选与可行性论证问题四要回答“能不能用理化指标评价葡萄酒质量”。做法分三步。第一步是指标筛选。在典型相关已经揭示两组指标关联的基础上保留葡萄酒的理化指标同时剔除葡萄指标中那些“可以认为已被对应葡萄酒指标代表”的部分避免同一信息在解释变量里出现两次造成多重共线性。第二步是建模。以葡萄酒质量评分作为因变量筛选后的葡萄与葡萄酒理化指标作为自变量建立多元线性回归模型 y β₀ ΣβᵢXᵢ。第三步是论证也是最关键的一步把样本随机分成两组一组建模另一组只做检验。检验组用模型算出预测评分再和该组的真实评分做显著性差异检验。如果两者没有显著差异才能说“用理化指标评价葡萄酒质量是可行的”。如果拿建模用的同一批样本自证等于自己考自己结论没有说服力。import numpy as np from scipy import stats from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split # 典型相关返回按大小排序的典型相关系数 def cca(X, Y): Xs (X - X.mean(0)) / X.std(0, ddof1) Ys (Y - Y.mean(0)) / Y.std(0, ddof1) R np.corrcoef(np.hstack([Xs, Ys]).T) p, q X.shape[1], Y.shape[1] R11, R12 R[:p, :p], R[:p, p:] R21, R22 R[p:, :p], R[p:, p:] M np.linalg.solve(R11, R12) np.linalg.solve(R22, R21) lam np.sort(np.linalg.eig(M)[0].real)[::-1] return np.sqrt(np.clip(lam, 0, 1)) # 典型相关系数 # 回归 留出法验证 def regress_and_validate(X, y, test_size0.3, seed42): Xtr, Xte, ytr, yte train_test_split( X, y, test_sizetest_size, random_stateseed) model LinearRegression().fit(Xtr, ytr) pred model.predict(Xte) t, p stats.ttest_rel(pred, yte) # 预测值与真实评分的配对检验 return model.coef_, model.intercept_, ptest_size0.3是留出比例样本量只有二十几个时不能再往下切0.3 大约是 8 个检验样本是能算出检验统计量的下限。random_state固定种子是为了结果可复现答辩现场重新跑一遍能出同样的数。ttest_rel用的是配对 t 检验因为预测值和真实评分是同一批样本上的两种测量结果。p 0.05 说明预测值与真实评分无显著差异模型可用如果 p 很小先怀疑是筛掉的指标筛多了而不是急着换模型。5. 常见问题与排查这套模型最容易翻车的五个环节5.1 直接对两组评分做独立样本 t 检验现象跑出来 p 值很小兴冲冲写“两组差异显著”被问一句“配对还是独立”就卡住。原因同一批酒样被两组人各评一次两组数据一一对应是配对结构。当成独立样本处理等于假装“两组评的是不同的酒”组间方差被高估结论的可靠性存疑。解决先用 K-S 检验确认单组分布再按配对结构选 Wilcoxon 符号秩检验。差值的对称性比正态性更容易满足这就是它比配对 t 检验更稳妥的原因。5.2 27 个指标不降维直接加权现象加权和算出来各样本的分值挤在 0.450.55 之间的窄带里等级几乎分不开个别样本的分级还会随权重微小调整而跳档。原因27 个指标高度相关总酚、总黄酮、DPPH 自由基、单宁描述的是同一件事直接加权等于给这份信息乘了三四倍权重其他维度的信号被淹掉同时量纲没统一时数值大的指标会主导结果。解决先标准化算相关系数矩阵做 KMO 和 Bartlett 检验确认适合因子分析再主成分分析取累计贡献率超过 80% 的前几个主成分作为二级指标。降维之后每个主成分内部不相关加权才有意义。5.3 AHP 判断矩阵不一致还硬用现象权重算出来了但 λ 远大于阶数CR 到了 0.15 甚至更高排序结果反直觉——某两个明显更重要的指标权重竟然接近。原因两两比较时前后逻辑打架。比如 A 比 B 重要 3 倍、B 比 C 重要 3 倍却填了 A 比 C 只重要 2 倍这种传递性破坏会直接推高 λ。解决先算 CR超过 0.1 就回到判断矩阵找最不一致的那几行重填而不是调整算法。重填的依据是数据本身——看该指标在样本中的离散程度和与评分结果的相关性比凭感觉拍数字有依据得多。5.4 典型相关只看总体相关系数不看载荷现象第一对典型相关系数 0.9 以上显著性也过了但被问“所以呢”答不出具体结论。原因典型相关系数只说明“两组变量存在强线性关联”具体是哪些指标在起作用、方向是正是负全在典型载荷和典型权重里。解决把每一对典型变量的载荷矩阵打出来按绝对值排序挑出贡献最大的几个指标再结合符号解释业务含义。上面那三条关于果皮、苹果酸、总黄酮与总酚的结论都是这么读出来的。5.5 回归模型用训练样本自证可行性现象R² 很高模型显著但换成另一批样本预测误差大得离谱。原因用建模样本自己检验自己相当于把答案抄了一遍再考试。样本量只有二十几个、自变量十几个时过拟合几乎是必然的。解决随机划分建模组和检验组用检验组的预测值与真实评分做配对检验。同时看自变量的方差膨胀因子VIF 超过 10 就说明共线性严重需要回到上一步继续筛指标。6. 验收与答辩怎么证明你的评价模型站得住这套方案最后能不能过不看模型多花哨看三张表能不能对上。第一张是差异检验表红白葡萄酒两组评分的 Wilcoxon 统计量和 p 值并排列出后面紧跟肯德尔和谐系数和卡方值一眼能看出“有差异”和“哪组更可信”是两个独立结论。第二张是分级结果表27 个红葡萄样本逐个列出综合评价值和等级样本 23 落在 super、样本 12 落在 6th两头有极端值、中间扎堆分布形态能和解释对上。第三张是典型载荷表和回归系数表每个保留的指标都有符号和量级删掉的指标要写清楚删的理由。验收时可以按这个顺序走一遍验收项做法判定标准数据清洗可追溯保留原始表、修补表两份每个修补格能找到替换依据分布假设成立K-S 检验 P-P 图双确认p 0.05 且散点贴对角线检验方法匹配数据结构配对结构用符号秩检验论文里写明“为什么不用 t 检验”指标体系可解释每个主成分有业务命名载荷绝对值 0.5 才入选权重逻辑自洽AHP 一致性检验CR 0.1组合 CR 同样 0.1预测能力外证留出法划分建模组/检验组检验组预测值与真实评分无显著差异答辩最常被追问的三个点提前准备好答案。一是“为什么红白葡萄酒用的不是同一组评分”答一致性检验结果不同两组各自的最优组不一样这不是随意选择。二是“主成分的物理意义是什么”答载荷组合和酿酒工艺的对应关系不要背统计定义。三是“回归模型能推广吗”答样本量限制和适用范围把假设条件说清楚比硬撑“普遍适用”更稳。我自己的习惯是任何一次建模只要里面出现了“显著性差异”四个字我一定回头把检验方法、数据结构、配对关系三者对齐一遍再写结论。这套流程走过一次之后后面再遇到主观评分类的题目基本不会在第一步就翻车。希望帮到你。本文还有配套的精品资源点击获取
