机器学习不是“把所有数据扔给模型学”而是要留一部分数据检查模型到底有没有真正学会。机器学习的目标是1.训练集真正拿来让模型学习的数据。它既有输入也有输出。在训练Training时模型获取输入进行预测并与正确结果对比如果预测错了就调整参数继续训练。疑问谁修改参数修改什么参数训练的具体过程是怎样的。注意一个概念过拟合Overfitting。就是指模型在训练集上表现很好但其实也只是如此了背住了。2.测试集:模型训练期间完全不能看的“期末考试”。举个例子有1000 条数据其中我们将700条作为训练集剩下的300条均分为测试集和验证集。即700 → 训练集150 → 测试集150 → 验证集等模型training完成之后再去做测试集如果训练集 Accuracy 95%测试集 Accuracy 93%则说明模型泛化能力不错训练的比较成功。而如果训练集 Accuracy 99%测试集 Accuracy 72%则说明模型测试结果不理想加上训练集结果不错可能出现了过拟合。3.验证集模拟考试。在实际模型测试的时候不可能一次就达到理想的准确率所以要不断地调整模型中的参数调整完参数之后再进行测试。想一想如果这个过程中模型一直再测试集上进行反复测试就会出现针对性。4.代码中实现集合划分from sklearn.model_selection import train_test_split X_train,X_teset,y_train,y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )5.整个训练模型的过程原始数据 X, y↓train_test_split↓Train - Validation - Test训练参数 调模型 最终评价
