简介这是一套面向高校计算机、人工智能与电子信息等专业学生的机器学习实践资源围绕恶意网站检测这一网络安全场景提供从特征提取到多算法验证的完整实现方案。压缩包共11个文件约3.32MB以Python脚本为主体辅以数据压缩包、备份文件与说明文档覆盖特征向量提取、分布可视化、模型训练与分类决策等环节。系统整合支持向量机、随机森林与深度神经网络三类算法分别通过超平面构建、多决策树集成与多层感知机进行非线性特征学习并经过交叉验证分类准确率均达95%以上。数据集中已整合特征对照表便于模型训练与标注。已有50人学习适合作为课程设计、毕业设计或算法对比实验的参考读者可据此理解特征工程流程、复现三种模型的训练与评估并在此基础上调整网络参数或引入增量学习机制进行扩展优化。1. 恶意网站检测的三驾马车SVM、随机森林与DNN到底怎么选做恶意网站检测的工程师大概率都经历过这样的场景老板丢过来一份几十万条的URL数据集说“做个分类模型把钓鱼、挂马、诈骗的站点挑出来”然后你打开Jupyter Notebook面对SVM、随机森林、DNN三个选项一时不知道从哪个下手。这不是一个“哪个模型最强”的问题而是一个“哪个模型适合当前数据形态和部署条件”的问题。SVM擅长高维稀疏特征下找最大间隔超平面随机森林在特征工程做得粗糙时依然稳如老狗DNN则能在海量URL字符序列上自动提取n-gram级别的隐含模式。三者的关系不是替代而是互补——很多线上系统最终跑的是集成投票。这篇文章面向有一定机器学习基础、想把恶意网站检测从demo推到可复现实验的从业者从特征构造讲到模型训练、调参、避坑每一步都给出能直接抄的代码和参数解释。如果你正在纠结“随机森林需要跑多长时间”“DNN到底要不要上GPU”这类问题下面的内容应该能帮你省下不少试错时间。2. 特征工程先立住URL里到底能榨出哪些信号2.1 从原始URL到数值向量的四条路径恶意网站检测的第一道坎不是模型是特征。你拿到的原始数据通常就是一堆字符串URL偶尔附带页面标题或WHOIS信息。直接丢给模型是不行的必须先把URL拆成有判别力的数值特征。常见做法是走四条路径词法特征、主机特征、路径特征、外部特征。词法特征看的是URL字符串本身的统计规律。比如URL总长度、域名长度、路径深度、是否包含IP地址、特殊字符、-、_、、%的出现次数、数字与字母的比例、是否使用短链接服务。钓鱼网站往往URL偏长、特殊字符多、域名里带很多连字符。这些特征用几行Python就能算出来import re from urllib.parse import urlparse def lexical_features(url): features {} features[url_length] len(url) parsed urlparse(url) hostname parsed.hostname or features[hostname_length] len(hostname) features[path_length] len(parsed.path) features[num_dots] url.count(.) features[num_hyphens] url.count(-) features[num_at] url.count() features[num_digits] sum(c.isdigit() for c in url) features[digit_ratio] features[num_digits] / max(len(url), 1) # 是否直接使用IP作为主机 ip_pattern re.compile(r^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$) features[is_ip_host] 1 if ip_pattern.match(hostname) else 0 # 是否包含可疑顶级域名 suspicious_tlds [.tk, .ml, .ga, .cf, .gq] features[suspicious_tld] 1 if any(hostname.endswith(t) for t in suspicious_tlds) else 0 return features这段代码的逻辑很直白把URL当作纯文本统计那些在恶意样本中高频出现的模式。digit_ratio这个特征值得多说一句——正常电商网站的URL里数字比例通常低于0.15而很多钓鱼URL为了伪造参数会塞大量数字比例经常超过0.3。is_ip_host直接命中一类低级但依然常见的攻击手法。suspicious_tld列表可以根据你实际拿到的黑名单动态调整不要死守这几个。主机特征需要额外查询比如域名注册时长、DNS记录数量、是否有MX记录、SSL证书颁发者。这些特征判别力极强但获取成本高适合离线批量跑。路径特征看的是URL中path部分的规律比如是否包含“login”“verify”“account”“secure”等敏感词路径层级是否超过5层。外部特征包括Alexa排名、Google索引量、页面外链数量这些需要调用第三方接口在实验阶段可以先用公开数据集里附带的字段。2.2 特征归一化与维度选择别让量纲毁了SVM特征算出来之后直接喂给SVM会翻车。SVM基于距离计算如果url_length的取值范围是0到2000而is_ip_host只有0和1那么长度特征会完全主导核函数计算其他特征相当于不存在。所以标准化是必须的from sklearn.preprocessing import StandardScaler import numpy as np # 假设X是n_samples x n_features的矩阵 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 对于随机森林其实不需要标准化但统一处理没坏处 # 对于DNN标准化后还需要检查是否有极端离群值 print(f标准化后均值: {np.mean(X_scaled, axis0)[:5]}) print(f标准化后标准差: {np.std(X_scaled, axis0)[:5]})StandardScaler做的是z-score标准化把每个特征变成均值0、方差1。注意fit_transform只能在训练集上调用验证集和测试集必须用训练集的均值和方差做transform否则就是数据泄露。这个坑我见过太多次尤其是用交叉验证的时候很多人图省事在全部数据上做标准化结果交叉验证分数虚高上线后直接崩。维度选择方面如果你初始构造了40个特征建议先用随机森林跑一遍特征重要性排序把重要性低于0.01的特征砍掉。SVM对无关特征很敏感维度越高过拟合风险越大。随机森林本身对无关特征有一定容忍度但砍掉之后训练速度会明显提升。DNN则可以通过Dropout和L2正则来抑制无关特征的影响但输入维度太高时第一层全连接层的参数量会爆炸还是提前筛一遍更划算。提示特征重要性排序用RandomForestClassifier的feature_importances_属性即可但要注意如果特征之间存在强共线性重要性会被分散这时候最好结合业务判断不要机械地按阈值砍。3. 三个模型逐个跑通从sklearn到PyTorch的最小实现3.1 SVM核函数选择与C值、gamma的网格搜索SVM在恶意网站检测里的定位是“小样本高维特征的精细分类器”。如果你的标注数据只有几千条但特征维度有几十维SVM往往比随机森林表现更好因为它找的是最大间隔超平面对过拟合有天然抑制。但SVM的调参比随机森林敏感得多尤其是RBF核的C和gamma。from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV from sklearn.metrics import classification_report # 假设X_train, y_train已经准备好 param_grid { C: [0.1, 1, 10, 100], gamma: [scale, 0.01, 0.1, 1], kernel: [rbf] } svm SVC(class_weightbalanced, probabilityTrue) grid GridSearchCV(svm, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(X_train, y_train) print(f最佳参数: {grid.best_params_}) print(f最佳F1: {grid.best_score_:.4f}) # 用最佳模型在测试集上评估 best_svm grid.best_estimator_ y_pred best_svm.predict(X_test) print(classification_report(y_test, y_pred))C控制惩罚系数C越大对误分类的容忍度越低容易过拟合C越小则允许更多误分类可能欠拟合。gamma控制RBF核的“影响半径”gamma越大单个样本的影响范围越小决策边界越曲折。class_weightbalanced在恶意样本远少于正常样本时非常关键它会自动按类别频率反比调整权重。probabilityTrue会启用Platt缩放来输出概率但会显著增加训练时间如果只需要类别标签可以关掉。网格搜索的范围不要一上来就铺太宽。我一般先用C[1, 10]、gamma[scale, 0.1]跑一轮看最佳值落在哪个区间再在附近细化。n_jobs-1用满所有CPU核心但注意如果数据量超过5万条SVM的训练时间会急剧上升这时候要么降采样要么换线性核。3.2 随机森林n_estimators到底设多少跑多长时间算正常随机森林是三个模型里最省心的但“省心”不等于“随便设”。最常被问到的两个问题是n_estimators设多少合适训练要跑多久from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score import time # 先跑一个基线看看不同树数量的效果 for n in [50, 100, 200, 500]: rf RandomForestClassifier( n_estimatorsn, max_depthNone, min_samples_split5, min_samples_leaf2, class_weightbalanced, n_jobs-1, random_state42 ) start time.time() scores cross_val_score(rf, X_train, y_train, cv5, scoringf1) elapsed time.time() - start print(fn_estimators{n}, F1{scores.mean():.4f}, 耗时{elapsed:.1f}秒)n_estimators是树的数量。理论上越多越好但收益递减。从50到100通常有肉眼可见的提升从100到200提升就很小了200到500基本持平。我的经验是如果特征维度在20到50之间数据量在10万条以内n_estimators200是一个性价比很高的选择训练时间在普通笔记本上大约30到60秒。如果数据量到百万级n_estimators100加上max_depth20左右的限制能把时间控制在几分钟内。min_samples_split和min_samples_leaf是控制树生长深度的关键。恶意网站检测中很多特征存在噪声如果让树完全生长每片叶子可能只对应一两个样本过拟合严重。min_samples_split5表示一个节点至少要有5个样本才继续分裂min_samples_leaf2表示叶子节点至少保留2个样本。这两个值可以根据数据量调整数据量越大可以适当放宽。class_weightbalanced同样重要。恶意网站检测的数据集通常正负样本比例在1:10到1:100之间不加权的话模型会倾向于预测多数类召回率惨不忍睹。3.3 DNN用PyTorch搭一个能跑URL字符序列的分类器DNN在恶意网站检测里的优势是端到端。你可以跳过手工特征工程直接把URL字符序列喂进去让网络自己学。但代价是需要更多数据、更长训练时间以及一块还过得去的GPU。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 字符级编码把URL映射为整数序列 class URLCharEncoder: def __init__(self, max_len200): self.max_len max_len # 常见URL字符集 self.chars abcdefghijklmnopqrstuvwxyz0123456789-._~:/?#[]!$()*,;% self.char_to_idx {c: i1 for i, c in enumerate(self.chars)} # 0留给padding def encode(self, url): url url.lower()[:self.max_len] seq [self.char_to_idx.get(c, 0) for c in url] # padding到固定长度 seq seq [0] * (self.max_len - len(seq)) return seq class MaliciousURLNet(nn.Module): def __init__(self, vocab_size80, embed_dim32, hidden_dim128, num_classes2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.conv1 nn.Conv1d(embed_dim, 64, kernel_size3, padding1) self.conv2 nn.Conv1d(64, 128, kernel_size3, padding1) self.pool nn.AdaptiveMaxPool1d(1) self.fc1 nn.Linear(128, hidden_dim) self.dropout nn.Dropout(0.3) self.fc2 nn.Linear(hidden_dim, num_classes) self.relu nn.ReLU() def forward(self, x): x self.embedding(x) # (batch, seq_len, embed_dim) x x.permute(0, 2, 1) # (batch, embed_dim, seq_len) x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.pool(x).squeeze(-1) # (batch, 128) x self.dropout(self.relu(self.fc1(x))) x self.fc2(x) return x # 训练循环 def train_model(model, train_loader, val_loader, epochs10, lr1e-3): device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrlr, weight_decay1e-4) for epoch in range(epochs): model.train() total_loss 0 for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() outputs model(batch_x) loss criterion(outputs, batch_y) loss.backward() optimizer.step() total_loss loss.item() # 验证 model.eval() correct 0 total 0 with torch.no_grad(): for batch_x, batch_y in val_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) outputs model(batch_x) _, predicted torch.max(outputs, 1) total batch_y.size(0) correct (predicted batch_y).sum().item() val_acc correct / total print(fEpoch {epoch1}, Loss: {total_loss/len(train_loader):.4f}, Val Acc: {val_acc:.4f}) return model这个网络结构是字符级CNN不是纯DNN但在恶意网站检测里比全连接DNN更常用因为卷积核能捕捉URL中的局部模式比如“login”这样的敏感词。embed_dim32表示每个字符映射为32维向量max_len200截断超过200字符的URL。AdaptiveMaxPool1d(1)把卷积输出的每个通道压缩为一个最大值这样不管URL多长输出维度固定。训练时weight_decay1e-4是L2正则防止过拟合。Dropout(0.3)在训练时随机丢弃30%的神经元。如果验证集准确率在几个epoch后不再上升可以降低学习率或者提前停止。GPU显存不够的话把batch_size降到32或16或者把hidden_dim从128降到64。注意字符级编码的vocab_size要略大于实际字符集大小因为padding占用了索引0。如果URL里出现了字符集之外的字符比如中文域名会被映射为0和padding混淆。解决办法是单独留一个UNK索引或者先把URL做百分号编码。4. 模型对比与集成什么时候该把三个模型串起来用4.1 用交叉验证做公平对比准确率之外还要看什么三个模型各自跑通之后下一步是公平对比。不要只看准确率恶意网站检测中正负样本极不平衡准确率会被多数类主导。必须同时看精确率、召回率、F1和AUC。from sklearn.metrics import precision_score, recall_score, f1_score, roc_auc_score def evaluate_model(model, X_test, y_test, model_name): y_pred model.predict(X_test) # 对于SVM和随机森林用predict_proba获取正类概率 if hasattr(model, predict_proba): y_prob model.predict_proba(X_test)[:, 1] else: y_prob y_pred metrics { 模型: model_name, 精确率: precision_score(y_test, y_pred), 召回率: recall_score(y_test, y_pred), F1: f1_score(y_test, y_pred), AUC: roc_auc_score(y_test, y_prob) } return metrics # 假设三个模型已经训练好 results [] results.append(evaluate_model(best_svm, X_test, y_test, SVM)) results.append(evaluate_model(best_rf, X_test, y_test, 随机森林)) # DNN需要单独处理因为输入格式不同 # results.append(evaluate_model(dnn_model, X_test_seq, y_test, DNN)) import pandas as pd df pd.DataFrame(results) print(df.to_string(indexFalse))精确率和召回率的取舍取决于业务场景。如果系统是给安全运营团队做告警精确率更重要因为误报太多会导致告警疲劳如果是做自动拦截召回率更重要漏掉一个恶意网站可能造成实际损失。F1是两者的调和平均适合做综合对比。AUC衡量的是模型对正负样本的排序能力不受阈值影响在对比不同模型时比准确率可靠得多。我一般会画一张P-R曲线直观看到不同阈值下精确率和召回率的权衡。如果两个模型的AUC接近但一个在低阈值下召回率更高另一个在高阈值下精确率更高那就看业务更容忍哪种错误。4.2 软投票集成把三个模型的概率平均一下能涨多少如果三个模型的表现各有千秋比如SVM在精确率上领先随机森林在召回率上更好DNN在AUC上最高那么集成是一个自然的选择。最简单的是软投票把三个模型输出的正类概率取平均然后按0.5阈值分类。import numpy as np def soft_voting(svm_model, rf_model, dnn_model, X_tabular, X_seq): # 表格特征模型 svm_prob svm_model.predict_proba(X_tabular)[:, 1] rf_prob rf_model.predict_proba(X_tabular)[:, 1] # DNN模型 dnn_model.eval() with torch.no_grad(): X_tensor torch.LongTensor(X_seq) dnn_output dnn_model(X_tensor) dnn_prob torch.softmax(dnn_output, dim1)[:, 1].numpy() # 平均概率 avg_prob (svm_prob rf_prob dnn_prob) / 3 return (avg_prob 0.5).astype(int), avg_prob y_pred_ensemble, y_prob_ensemble soft_voting(best_svm, best_rf, dnn_model, X_test, X_test_seq) print(f集成后F1: {f1_score(y_test, y_pred_ensemble):.4f}) print(f集成后AUC: {roc_auc_score(y_test, y_prob_ensemble):.4f})软投票的效果取决于模型之间的多样性。如果三个模型都在同一个特征空间上训练而且都犯了类似的错误集成收益很小。SVM和随机森林用的是手工特征DNN用的是字符序列两者的错误模式差异较大集成通常能涨1到3个百分点的F1。但如果DNN的AUC比另外两个低很多比如低5个点以上那它可能会拖后腿这时候可以考虑加权平均给DNN更低的权重。还有一种做法是堆叠stacking把三个模型的输出概率作为新特征再训练一个逻辑回归做元学习器。堆叠理论上比简单平均更强但需要额外的交叉验证来生成元特征实现复杂度高不少。如果团队没有成熟的MLOps流程软投票的性价比更高。5. 避坑与排查恶意网站检测里最容易翻车的五个地方5.1 数据泄露为什么你的交叉验证分数虚高现象交叉验证F1达到0.95上线后实际检测率不到0.7。原因最常见的是在全部数据上做了标准化或特征选择然后才划分训练集和测试集。StandardScaler的均值和方差包含了测试集信息SelectKBest的特征选择也用到了测试集的标签分布。另一个隐蔽的泄露是时间泄露如果用随机划分训练集里可能包含未来才出现的恶意网站样本而测试集里是更早的样本模型学到了“未来模式”。解决用Pipeline把预处理和模型串起来在交叉验证内部做fit。时间相关的数据必须按时间切分比如用前6个月的数据训练后1个月的数据测试。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC pipeline Pipeline([ (scaler, StandardScaler()), (svm, SVC(C10, gammascale, class_weightbalanced)) ]) # 这样在cross_val_score内部scaler只在训练折上fit scores cross_val_score(pipeline, X, y, cv5, scoringf1)5.2 类别不平衡召回率上不去模型只会说“正常”现象测试集上正常网站的召回率接近100%恶意网站召回率只有30%。原因恶意样本太少模型学会了“全部预测为正常”就能拿到很高的准确率。class_weightbalanced能缓解但如果比例超过1:100效果有限。解决除了类别权重还可以用SMOTE做过采样或者用RandomUnderSampler做欠采样。我一般先试类别权重不行再上SMOTE。注意SMOTE只能在训练集上做而且对高维稀疏特征效果一般对表格特征比较适用。from imblearn.over_sampling import SMOTE from imblearn.pipeline import Pipeline as ImbPipeline pipeline ImbPipeline([ (scaler, StandardScaler()), (smote, SMOTE(random_state42)), (rf, RandomForestClassifier(n_estimators200, class_weightbalanced)) ])5.3 特征穿越URL里的数字特征在训练集和测试集分布不一致现象url_length在训练集上恶意样本平均长度是80测试集上变成150模型性能骤降。原因攻击者会动态调整URL长度来绕过检测。如果你的训练集是半年前收集的测试集是最近的特征分布可能已经漂移。解决定期用最新数据重新训练或者构造对分布漂移不敏感的特征比如用分位数而不是原始值。另外监控线上特征的分布变化一旦发现某个特征的均值偏移超过阈值就触发告警。5.4 DNN过拟合训练集准确率99%验证集只有70%现象DNN在训练集上很快收敛到接近100%准确率但验证集准确率停滞在70%左右且随epoch增加不升反降。原因URL字符序列的参数量很大如果训练数据只有几万条网络很容易记住训练样本。Dropout和weight_decay没设对或者embed_dim和hidden_dim太大。解决先降低模型容量把embed_dim从32降到16hidden_dim从128降到64。增加Dropout到0.5。如果还不行用早停early stopping验证集损失连续3个epoch不下降就停止训练。# 早停实现 best_val_loss float(inf) patience 3 counter 0 for epoch in range(epochs): # ... 训练代码 ... val_loss validate(model, val_loader) if val_loss best_val_loss: best_val_loss val_loss counter 0 torch.save(model.state_dict(), best_model.pt) else: counter 1 if counter patience: print(f早停于epoch {epoch1}) break5.5 线上推理延迟随机森林模型文件几百MB加载慢现象训练好的随机森林有500棵树模型文件300MB线上服务启动要十几秒单次推理延迟超过100ms。原因n_estimators设得太大树没有深度限制每棵树都完全生长。解决把n_estimators降到100到200设置max_depth15到20min_samples_leaf5。这样模型文件能压到几十MB推理延迟降到10ms以内。如果性能下降明显可以用joblib的压缩参数保存模型或者用ONNX Runtime做推理加速。import joblib # 保存时压缩 joblib.dump(rf_model, rf_model.pkl, compress3) # 加载 rf_model joblib.load(rf_model.pkl)6. 进阶技巧用特征重要性反哺规则引擎让模型和规则互相验证模型跑通之后别急着上线。我习惯做一件事把随机森林的特征重要性排序打印出来和团队里安全分析师的经验规则做对比。如果模型认为最重要的特征和分析师直觉一致说明模型学到了真实信号如果不一致要么是模型发现了新模式要么是数据有问题。import pandas as pd import matplotlib.pyplot as plt rf RandomForestClassifier(n_estimators200, class_weightbalanced, random_state42) rf.fit(X_train, y_train) feature_names [url_length, hostname_length, path_length, num_dots, num_hyphens, num_at, num_digits, digit_ratio, is_ip_host, suspicious_tld] importances pd.Series(rf.feature_importances_, indexfeature_names) importances.sort_values(ascendingTrue).plot(kindbarh, figsize(8, 6)) plt.xlabel(重要性) plt.tight_layout() plt.savefig(feature_importance.png, dpi150)这张图能告诉你很多事。如果is_ip_host和suspicious_tld排在前列说明数据里的低级攻击样本不少规则引擎可以直接覆盖这部分模型专注于更复杂的样本。如果digit_ratio重要性很高但安全分析师觉得这个特征不可解释那就需要检查数据里是不是混入了大量带参数的正常URL被误标为恶意。另一个技巧是用SHAP值做单样本解释。当模型判定某个URL为恶意时SHAP能告诉你每个特征贡献了多少分。这在给安全运营团队做告警时特别有用——他们需要知道“为什么这个URL被拦了”而不是只看到一个冷冰冰的分数。import shap explainer shap.TreeExplainer(rf) shap_values explainer.shap_values(X_test[:100]) # 对第一个样本查看各特征的贡献 shap.initjs() shap.force_plot(explainer.expected_value[1], shap_values[1][0], X_test[0], feature_namesfeature_names)SHAP的计算开销比特征重要性大不适合全量跑但可以对高风险样本做抽样解释。我一般会在告警邮件里附上SHAP图运营团队反馈说比单纯的置信度有用得多。最后说一个我踩过的坑不要用测试集调参。哪怕只是“看一眼”测试集上的表现再决定用哪个模型也是一种信息泄露。正确的做法是训练集调参、验证集选模型、测试集只跑一次。如果测试集结果不理想回到训练集重新调不要反复在测试集上试。这个习惯我坚持了三年虽然有时候会觉得麻烦但上线后的表现和测试集分数基本一致省去了很多“线上翻车、回头查数据泄露”的时间。希望帮到你。本文还有配套的精品资源点击获取
