简介面向机器学习初学者与算法研究者这是一套随机森林算法的Python实现及配套数据集可帮助理解集成学习与决策树的结合原理。压缩包共4个文件2个.py脚本中一份为网络参考代码另一份为作者重新整理并编写的实现方便对比两种写法的差异1个CSV文件为sonar数据集规模较小便于快速完成二分类实验1个txt阅读说明清晰概述资源构成与使用方式。两份代码均包含详尽中文注释已在Python2.7环境下调试通过直接运行即可观察随机森林的预测效果。作者刻意未做过多调参让读者更专注算法核心逻辑并鼓励自行调整参数优化正确率非常适合课堂作业、课程设计或自学实践。整个资源包仅34KB轻量便携方便下载与分享目前已有15738人学习下载是入门随机森林时值得参考的示例代码。1. 随机森林是什么为什么小样本表格数据用它几乎不用做特征工程我接过不少表格分类的活儿特征二三十列、样本一两千丢给深度学习要先归一化再做一堆预处理折腾半天未必收敛。随机森林是这类任务的默认起点几十到几百棵决策树组成森林每棵树在有放回抽样的子集上训练每次分裂只随机看一部分特征最后用投票或平均给出预测。“数据随机 特征随机”两重设计把单棵决策树的高方差平均掉泛化明显更稳。标题里的“代码实现和相应的数据集”在 Python 生态有两条路一是用 sklearn 的 RandomForestClassifier 快速出结果二是从手写决策树开始把 bagging 和特征抽样一步步搭起来看清黑匣子内部的机制。这篇笔记按原理、实现、调参、踩坑的顺序写数据集用鸢尾花iris和 UCI 乳腺癌都是经典公开数据复制代码就能直接跑。2. 随机森林的两个随机性bagging 与特征抽样如何把高方差树变成稳定森林开始写代码前先把随机森林为什么“稳”这件事讲透。很多初学者上来就调参调了半天也不知道 n_estimators 和 max_features 到底在控制什么本质上是没理解森林的两个随机性。一个随机性作用在样本维度一个作用在特征维度两者叠加才让“一群不完美的树投票”这种朴素想法变得可靠。2.1 bagging 自举采样每棵树都在不同的数据集上长大bagging 的全称是 Bootstrap Aggregating核心操作是从原始训练集里有放回地随机抽取样本。假设训练集有 N 个样本每棵树独立地做 N 次抽取每次抽完把样本放回去。这样生成的新子集里大约只包含 63.2% 的不重复原始样本其余位置被重复样本占据。没被抽中的那部分原始样本称为 OOBOut-of-Bag样本天然适合做模型验证——你完全不需要额外切出一块验证集。可以用一小段 Python 代码模拟这个抽样过程直观看到 63.2% 从哪来import numpy as np N 10000 # 模拟原始样本量 rng np.random.default_rng(42) # 有放回抽样从 0 到 N-1 中抽 N 次 sample_idx rng.integers(0, N, sizeN) unique_count len(np.unique(sample_idx)) print(f不重复样本比例: {unique_count / N:.3f}) # 理论值: 1 - 1/e ≈ 0.632逻辑说明rng.integers(0, N, sizeN)生成 N 个整数下标每个下标对应一次“抽中的样本”。因为有放回同一个下标可以出现多次这正是 bagging 区别于普通切分的关键。np.unique去重后得到不重复样本数除以 N 就是覆盖比例。运行几次会发现结果稳定在 0.632 附近和理论值 1 - 1/e 吻合。这个抽样的意义在于每棵树的训练集都是原始数据的一个“有放回副本”树与树之间的训练集有差异但差异又不至于完全脱离原始分布。它们学到的规律大体一致犯的错误却各不相同投票时错误就会互相抵消。顺带一提OOB 样本的用途在后面调参章节会详细展开它是随机森林比其他集成算法更“省事”的地方。2.2 特征随机抽样为什么强特征不能每次都参与分裂第二个随机性在特征维度。传统决策树每次分裂会在所有特征里挑增益最大的那个这导致森林里所有树在最顶层的分裂几乎一样树之间高度相关投票的纠错能力大打折扣。随机森林的做法是每次分裂前先从全部特征里随机抽出一部分分类任务默认取 sqrt(n_features)只允许在抽中的特征里寻找最优分裂点。这里有个常见的玄学点特征抽样不是越大越好。max_features 偏大树之间的相关性增加方差压不下来max_features 偏小单棵树的判别能力变弱整体偏差变大。对分类任务经验起点是 sqrt(n_features)回归任务常见起点是 n_features / 3。具体值要靠你在自己的数据上用交叉验证或 OOB 分数定没有一劳永逸的正确答案。验证特征抽样对相关性的影响可以做个简单实验固定 n_estimators对比 max_features 取不同值时森林里任意两棵树在测试集上预测结果的相关系数。from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split import numpy as np X, y load_breast_cancer(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) def tree_pair_corr(max_features): rf RandomForestClassifier( n_estimators50, max_featuresmax_features, random_state42 ) rf.fit(X_train, y_train) preds np.array([tree.predict(X_test) for tree in rf.estimators_]) # 随机抽 30 对树计算预测结果的皮尔逊相关系数均值 rng np.random.default_rng(0) corrs [] for _ in range(30): i, j rng.choice(len(preds), size2, replaceFalse) corrs.append(np.corrcoef(preds[i], preds[j])[0, 1]) return np.mean(corrs) print(fmax_featuressqrt 树间相关系数: {tree_pair_corr(sqrt):.4f}) print(fmax_featuresNone (全特征) 树间相关系数: {tree_pair_corr(None):.4f})这段代码用随机森林自带的estimators_拿到每棵树对测试集分别预测再随机抽 30 对树计算预测结果的相关系数。你会发现 max_featuresNone 时树间相关性明显更高这正是方差压不下去的原因。逻辑上特征抽样就是在“单树能力”和“树间多样性”之间做权衡相关系数只是把这种权衡量化给你看。理解了这两个随机性后面所有参数调整都能对号入座。3. 手写随机森林的 Python 代码从 CART 决策树到投票整合配鸢尾花数据集这一章的目标是让你真正拥有一个自己实现的随机森林而不是只会调包。代码不追求工程效率但每一个环节都对应前面讲的原理跑通之后你再看 sklearn 的源码会顺畅很多。3.1 数据集准备鸢尾花和 UCI 乳腺癌怎么加载先准备数据。鸢尾花数据集iris是最经典的分类数据150 个样本、4 个特征花萼长宽、花瓣长宽、3 个类别每个类别 50 个样本完全平衡。UCI 乳腺癌数据集有 569 个样本、30 个特征、二分类样本量稍大且特征数更多适合验证手写实现在高维数据上的表现。两个数据集在 sklearn 里都能直接加载不需要额外下载也不用操心“鸢尾花数据集下载”这类问题。import numpy as np import pandas as pd from sklearn.datasets import load_iris, load_breast_cancer from sklearn.model_selection import train_test_split # 鸢尾花数据 iris load_iris() df_iris pd.DataFrame(iris.data, columnsiris.feature_names) df_iris[target] iris.target print(df_iris.head()) print(df_iris[target].value_counts()) X_iris, y_iris iris.data, iris.target X_tr, X_te, y_tr, y_te train_test_split( X_iris, y_iris, test_size0.3, random_state42, stratifyy_iris ) # UCI 乳腺癌数据 cancer load_breast_cancer() X_cancer, y_cancer cancer.data, cancer.target print(f乳腺癌数据形状: {X_cancer.shape}, 类别分布: {np.bincount(y_cancer)}) Xc_tr, Xc_te, yc_tr, yc_te train_test_split( X_cancer, y_cancer, test_size0.3, random_state42, stratifyy_cancer )需要说明两个细节stratifyy_iris保证训练集和测试集的类别比例和原始数据一致这对小数据集很重要否则某个类别可能恰好全落在测试集里random_state42固定切分保证每次运行结果可复现。加载后先用value_counts()或np.bincount看一眼类别分布这是做任何分类任务的第一习惯类别不平衡会在第五章专门讲。3.2 手写 CART 决策树基尼系数与分裂逻辑随机森林的基学习器通常是 CART 决策树。手写版本不需要追求工程效率重点是把分裂逻辑写清楚用基尼系数衡量节点纯度遍历候选特征的每个取值作为分裂阈值选择让加权基尼系数下降最多的“特征 阈值”组合。import numpy as np class DecisionTree: def __init__(self, max_depthNone, min_samples_split2, max_featuresNone, random_stateNone): self.max_depth max_depth self.min_samples_split min_samples_split self.max_features max_features self.random_state random_state self.tree_ None def _gini(self, y): if len(y) 0: return 0.0 counts np.bincount(y) probs counts / len(y) return 1.0 - np.sum(probs ** 2) def _best_split(self, X, y, feat_idx): parent_gini self._gini(y) best_gain, best_feat, best_thresh 0.0, None, None for f in feat_idx: values np.unique(X[:, f]) for t in values: left X[:, f] t if left.sum() 0 or (~left).sum() 0: continue gini_left self._gini(y[left]) gini_right self._gini(y[~left]) w (left.sum() * gini_left (~left).sum() * gini_right) / len(y) gain parent_gini - w if gain best_gain: best_gain, best_feat, best_thresh gain, f, t return best_feat, best_thresh def _build(self, X, y, depth): if (self.max_depth is not None and depth self.max_depth) or \ len(np.unique(y)) 1 or len(y) self.min_samples_split: counts np.bincount(y) return {leaf: True, class: np.argmax(counts)} feat_idx np.arange(X.shape[1]) if self.max_features is not None: rng np.random.default_rng(self.random_state) feat_idx rng.choice(feat_idx, self.max_features, replaceFalse) feat, thresh self._best_split(X, y, feat_idx) if feat is None: counts np.bincount(y) return {leaf: True, class: np.argmax(counts)} left X[:, feat] thresh return { leaf: False, feature: feat, threshold: thresh, left: self._build(X[left], y[left], depth 1), right: self._build(X[~left], y[~left], depth 1), } def fit(self, X, y): self.tree_ self._build(X, y, 0) return self def _predict_one(self, x, node): while not node[leaf]: node node[left] if x[node[feature]] node[threshold] else node[right] return node[class] def predict(self, X): return np.array([self._predict_one(x, self.tree_) for x in X])参数说明max_depth是树深度上限min_samples_split是节点允许继续分裂的最少样本数max_features是每次分裂随机抽样的特征数量这里传入的是整数后面随机森林层面会把它换算好。训练时如果节点样本全属于同一类别len(np.unique(y)) 1或者样本数不足就直接生成叶子节点叶子节点的输出是本节点样本的多数类。_best_split里遍历每个候选特征的每个唯一值作为阈值用加权基尼系数算增益这是 CART 分类树最朴素也最耗费算力的写法但对理解分裂机制最直接。3.3 随机森林整合bagging 特征抽样 投票有了基学习器随机森林的整合逻辑非常直接对每棵树做一次有放回抽样在抽样子集上训练一棵带特征抽样的决策树预测时收集所有树的输出做多数投票。from collections import Counter class RandomForest: def __init__(self, n_estimators100, max_depthNone, max_featuressqrt, random_stateNone): self.n_estimators n_estimators self.max_depth max_depth self.max_features max_features self.random_state random_state self.trees_ [] def fit(self, X, y): n_samples X.shape[0] n_features X.shape[1] if self.max_features sqrt: mf int(np.sqrt(n_features)) elif self.max_features log2: mf int(np.log2(n_features)) 1 else: mf self.max_features rng np.random.default_rng(self.random_state) self.trees_ [] for i in range(self.n_estimators): idx rng.integers(0, n_samples, sizen_samples) seed (self.random_state or 0) i tree DecisionTree( max_depthself.max_depth, min_samples_split2, max_featuresmf, random_stateseed, ) tree.fit(X[idx], y[idx]) self.trees_.append(tree) return self def predict(self, X): # 每棵树输出一个数组shape (n_estimators, n_samples) preds np.array([t.predict(X) for t in self.trees_]) # 逐样本统计多数票 votes [Counter(preds[:, j]).most_common(1)[0][0] for j in range(preds.shape[1])] return np.array(votes)逻辑说明fit里的rng.integers(0, n_samples, sizen_samples)就是 2.1 节的有放回抽样mf在顶层把sqrt或log2换算成整数特征数再传给每棵树的max_features。每棵树用不同的随机种子训练保证树之间独立。predict阶段把所有树的预测结果堆成二维数组对每个样本用Counter统计出现最多的类别作为最终输出。隐患是内存n_estimators 很大时这段代码会占不少空间实际工程可以用循环逐样本投票这里为了可读性牺牲了一点效率。3.4 手写版和 sklearn 版在同一数据集上的对比写完手写版一定要拿 sklearn 的 RandomForestClassifier 在同一份数据上做对照验证实现的正确性。from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score # 手写版 rf_custom RandomForest(n_estimators50, max_depth5, random_state42) rf_custom.fit(X_tr, y_tr) pred_custom rf_custom.predict(X_te) print(f手写随机森林 iris 准确率: {accuracy_score(y_te, pred_custom):.4f}) # sklearn 版 rf_sk RandomForestClassifier( n_estimators50, max_depth5, random_state42, max_featuressqrt ) rf_sk.fit(X_tr, y_tr) pred_sk rf_sk.predict(X_te) print(fsklearn 随机森林 iris 准确率: {accuracy_score(y_te, pred_sk):.4f})正常情况两者准确率会非常接近都在 0.93 到 1.0 之间。如果手写版明显偏低优先检查两点一是max_features的换算对不对二是决策树分裂时阈值遍历是否覆盖了所有取值。这个对照实验的好处是sklearn 作为参照物能帮你快速定位是“整合逻辑写错”还是“基学习器写错”。手写代码最大的价值不是跑赢 sklearn而是当你遇到模型表现异常时你能往树的内部去看而不是把整个模型当黑匣子。4. 用 sklearn 落地随机森林核心参数表、GridSearchCV 调参与 OOB 分数手写实现能看清原理但实际项目里没人会自己维护一棵树的代码直接用 sklearn 是行业默认做法。RandomForestClassifier 有十几个参数真正需要反复调的其实就五个n_estimators、max_depth、max_features、min_samples_split、min_samples_leaf。其余参数保持默认即可改多了反而容易出问题。4.1 核心参数表这些参数分别控制什么参数默认值作用常见取值范围n_estimators100森林里树的数量100~500max_depthNone单棵树最大深度5~20 或 Nonemax_featuressqrt每次分裂抽样特征数sqrt、log2、0.3~0.7min_samples_split2内部节点继续分裂的最少样本数2~20min_samples_leaf1叶子节点最少样本数1~10class_weightNone类别权重None 或 balancedoob_scoreFalse是否启用袋外样本评估True 或 Falsen_jobsNone并行使用的 CPU 核数-1 表示全部参数说明n_estimators决定森林规模和训练耗时超过某个拐点后准确率提升非常有限具体拐点要看 OOB 分数曲线max_depth是防止过拟合的第一道闸门默认 None 表示树可以一直长到叶子纯净在小数据集上几乎必然过拟合n_jobs-1在 sklearn 里表示用满所有 CPU 核随机森林天然适合并行这个参数能显著节省时间。很多人纠结“随机森林需要跑多长时间”大部分时候不是算法慢是你没开并行或者树的数量堆得太多。注意max_features 也可以填浮点数比如 0.5表示每次分裂看一半的特征。这个参数对分类和回归的影响不一样回归任务里它往往需要调大一些因为特征少会让每棵树的预测能力明显下降。4.2 GridSearchCV 自动调参一份可以直接抄的脚本手动调参路线一般是先固定 n_estimators再看 max_depth 和 max_features。更省事的做法是直接上 GridSearchCV把要调的参数网格丢进去交叉验证帮你跑完。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV, train_test_split from sklearn.datasets import load_breast_cancer X, y load_breast_cancer(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) param_grid { n_estimators: [100, 200, 300], max_depth: [5, 8, 10, None], max_features: [sqrt, log2], min_samples_split: [2, 5, 10], } rf RandomForestClassifier(random_state42, oob_scoreTrue) grid GridSearchCV( rf, param_grid, cv5, scoringaccuracy, n_jobs-1, verbose1, return_train_scoreTrue ) grid.fit(X_train, y_train) print(f最优参数: {grid.best_params_}) print(f最优交叉验证分数: {grid.best_score_:.4f}) print(f测试集分数: {grid.best_estimator_.score(X_test, y_test):.4f})参数说明cv5表示五折交叉验证每个参数组合跑 5 次训练稳定性比单次切分更可靠scoringaccuracy对类别不均衡的数据不够稳建议换成scoringf1或roc_aucreturn_train_scoreTrue会在结果里带上训练集分数用来判断过拟合。网格搜索的时间复杂度是参数组合数乘以交叉验证折数上面 3×4×2×372 个组合、每组合 5 折共 360 次拟合。数据量大时先把 n_estimators 固定到 100缩小网格再跑别一上来就全量搜索否则等结果的时间够你喝两杯咖啡。4.3 OOB 分数不切验证集也能估出泛化误差OOB 分数是随机森林比较独特的免费午餐。每棵树没用到的约 36.8% 样本可以直接喂给这棵树做预测把每棵树的 OOB 预测收集起来投票得到森林对 OOB 样本的预测再和真实标签对比就是 OOB 分数。它和交叉验证一样能估计泛化误差但不需要重复训练代价几乎为零。rf_oob RandomForestClassifier( n_estimators200, max_depth8, max_featuressqrt, random_state42, oob_scoreTrue, n_jobs-1 ) rf_oob.fit(X_train, y_train) print(fOOB 分数: {rf_oob.oob_score_:.4f}) print(f测试集分数: {rf_oob.score(X_test, y_test):.4f})OOB 分数和测试集分数通常非常接近它有两个实际用途一是在调参时快速比较不同参数组合而不需要反复切分数据二是当数据集太小、切分会浪费训练样本时用 OOB 分数代替交叉验证。要注意 OOB 分数不等于线上性能它和测试集分数的偏差如果超过 0.03要先怀疑数据集切分时是否泄漏或者样本分布是否发生了漂移。我习惯在每次拟合时都打开oob_scoreTrue它就像一个免费的体检报告能在你还没看测试集之前就暴露问题。5. 随机森林避坑指南四类高频翻车现场与排查思路随机森林不容易过拟合但也不是不会翻车。这一章整理我实际踩过的四类问题每条按“现象 → 原因 → 解决”展开都是可以直接拿去对照排查的经验。5.1 训练集分数接近满分、测试集明显掉点先查树的复杂度现象训练集准确率 0.99测试集只有 0.82感觉模型把训练数据背下来了。原因max_depthNone加上min_samples_split2每棵树无限生长叶子节点越分越纯单棵树深度可能超过 20 层。虽然随机森林有平均机制但树太复杂时方差依然会恶化尤其在样本量只有几百的小数据集上。解决给max_depth设一个上限比如从 5 开始逐步加到 15观察测试集分数拐点同时把min_samples_leaf从 1 提到 3~5叶子样本数下限越高树的拟合越粗糙但也越稳。判断是否过度生长的快速办法是打印森林里树的平均深度np.mean([t.get_depth() for t in rf.estimators_])平均深度超过 15 就要警惕。5.2 类别不平衡导致模型永远预测多数类现象二分类正负样本比 1:9模型预测结果几乎全是负类准确率看着有 90%但正类一个都没抓到。原因默认class_weightNone每棵树的叶子节点按多数类投票少数类样本在抽样和分裂中都处于劣势树之间根本没有“见过”足够多少数类样本。解决先试class_weightbalanced它会按类别频率的反比自动调整权重如果还不行把少数类过采样SMOTE和class_weight组合使用。评估指标要换成recall和precision准确率在这种场景下完全没有参考价值。注意class_weightbalanced只对分类有效回归场景要用sample_weight手动传权重。5.3 特征重要性排名和业务认知对不上MDI 高分不一定代表真重要现象一个取值很多的离散特征比如用户 ID排到特征重要性第一名但去掉它模型性能几乎不变。原因sklearn 默认的特征重要性是 MDIMean Decrease in Impurity它统计的是特征在分裂时带来的基尼系数下降总量。取值多的特征天然更容易被选中做分裂累积的下降量也更大但很多分裂其实是无意义的细分。这是随机森林特征重要性的系统性偏置不是 bug。解决改用permutation_importance排列重要性它通过打乱某个特征后观察模型分数下降多少来衡量重要性不受特征取值数量影响。实现方法在第六章给出。另外建议把建模用的特征做一次相关性筛查高度相关的特征会分摊重要性导致排名失真。5.4 随机森林回归预测超出训练范围就失灵现象用随机森林回归预测房价训练集价格区间是 50 万到 500 万预测样本里出现一个 800 万的房子模型输出只有 490 万。原因回归森林的预测是叶子节点样本的均值它天然无法外推。树的每个叶子都只在训练数据范围内取值遇到没见过的数值区间所有树都只能输出最接近训练分布的叶子均值。解决建模前先看目标变量的分布范围确认预测输入是否落在训练范围内如果业务上必然出现超出范围的值回归森林不合适换线性回归或带外推能力的模型。这个边界问题在遥感随机森林分类、气象预测这类场景里也经常出现很多人只盯着训练集分数结果一上线就露馅。6. 随机森林的进阶验证技巧排列重要性与部分依赖图模型训练完、参数也调好了下一步不是急着部署而是验证模型到底学到了什么。这一章讲两个我每次建模都会做的验证动作它们能帮你发现很多指标上看不出来的问题。6.1 用排列重要性替换 MDI 做特征排序from sklearn.inspection import permutation_importance rf_best grid.best_estimator_ result permutation_importance( rf_best, X_test, y_test, n_repeats10, random_state42, n_jobs-1 ) sorted_idx result.importances_mean.argsort()[::-1] for i in sorted_idx[:10]: print(f{cancer.feature_names[i]}: f{result.importances_mean[i]:.4f} ± {result.importances_std[i]:.4f})逻辑说明排列重要性对每个特征做 n_repeats 次打乱每次打乱后重新预测测试集计算分数下降幅度。某特征被完全打乱但分数几乎不掉说明模型根本不依赖它。这个指标比 MDI 可靠得多尤其在特征里混着高基数离散变量时能避免你被默认重要性排序带偏。6.2 用部分依赖图验证模型行为是否符合业务直觉部分依赖图PDP展示的是固定其他特征不变只改变目标特征时模型预测值如何变化。它能直观回答“这个特征和预测结果是正相关还是负相关”这类问题。from sklearn.inspection import PartialDependenceDisplay PartialDependenceDisplay.from_estimator( rf_best, X_test, features[0, 1], feature_namescancer.feature_names, kindaverage )运行后会画出两个子图横轴是特征取值纵轴是平均预测分数。如果某个业务上明确“越大越好”的特征PDP 曲线却是先升后降说明模型学到了某些你不希望的交互模式需要回头检查特征或训练数据。我见过最典型的案例一个信贷评分模型里年龄特征的 PDP 在 50 岁后骤降后来发现是训练样本里高龄人群的坏账样本被过度集中采样的结果和业务逻辑完全无关。这种问题用准确率、AUC 都看不出来只有 PDP 能暴露。我很早就养成了一个习惯每次随机森林建模完必跑一次排列重要性和两个重点特征的 PDP前前后后帮我在好几个项目里避免了带病上线。希望帮到你。本文还有配套的精品资源点击获取
