一种用于钓鱼和威胁分类的混合多层流水线：独立验证的URL和NLP引擎及校准的多通道融合阶段

大家读完觉得有帮助记得关注和点赞摘要钓鱼是一种多模态威胁。我们提出了一种混合流水线为每种模态使用独立的引擎进行评分并融合结果。我们构建、部署并独立基准测试了三个引擎一个四阶段URL栈域名守卫、词法模型、威胁情报和一个非对称L2融合侧车一个泛化强化型DistilBERT NLP分类器其保留的真实钓鱼召回率从0.8%提升至87.3%以及一个具有端到端OpenTelemetry检测的威胁情报同步器确认了11消息守恒。在一个包含10677封邮件的全系统基准测试中决策级融合阶段的表现通过校准的概率OR融合了URL、邮件头和钓鱼概率通道达到了F10.914同时将保留的真实垃圾邮件误报率降至3.6%。由于该基准测试使用了代理URL和邮件头通道且操作点仍需重新校准我们将其作为一个初步的综合结果。可部署检测的约束条件是泛化能力而非同分布准确性。I 引言钓鱼攻击仍然是凭证盗窃、商业电子邮件欺诈和恶意软件投递的主要初始访问向量。单封邮件结合了诱饵文本、URL、发件人元数据通常还包含附件然而大多数检测器仍然一次只基于一种模态进行推理。URL分类器无法从文字中解读意图文本分类器无法判断一个新注册的域信誉源无法识别它从未见过的诱饵。我们的前提是分类应该融合独立的、特定于模态的信号而不是强迫一个模型来裁决整封邮件。单模态检测器有其特定的失败模式。在一个主要以www为前缀的语料库上训练的词法URL模型会将google.com这样的裸顶级域读作钓鱼精确域名威胁情报会遗漏子域名轮换文本分类器会过拟合其训练语料库正如早期NLP检查点所示它在保留的真实钓鱼数据上召回率降至0.8%。分层、模态分离的设计就是对此的回应。本文记录了系统中已实现和已度量的部分并将其余部分作为支持性背景呈现。我们做出四点贡献。首先一个四阶段URL引擎包含嵌入式域名守卫、词法一级模型、威胁情报查询和基于区域的L2融合侧车第七节。其次一个泛化强化型DistilBERT邮件分类器在对比课程学习和共享规范化下其保留的真实钓鱼召回率从0.8%提升至87.3%第九节。第三一个生产级威胁情报同步器和端到端检测其跟踪记录证明了11消息守恒第八节和第五节。第四在一个包含10677封邮件的全系统基准测试中表征的决策级融合阶段其中校准的概率OR融合了URL、邮件头和钓鱼概率通道性能优于更简单的混合器第十节。我们始终谨慎对待被基准测试的内容及其方式。三个模态引擎各自在保留或代表性数据上进行评估。融合基准测试使用了代理URL和邮件头通道而非生产分数其阈值仍需在实际流量上重新校准因此我们将其数据视为初步的综合结果而非生产准确性声明。目前尚不存在包含实时URL和完整邮件头的真实多通道钓鱼语料库可以用来无循环地验证融合权重。该系统是署名作者的一个毕业设计项目。II 背景与相关工作我们的系统是一个基于Kafka-API代理的、事件驱动的Go和Python微服务集合如第三节所述。我们将其设计与三个方面的先前工作进行对比词法URL检测、基于Transformer的邮件文本分类和信号融合。词法URL分类是一个成熟的研究方向提供了特征谱系和公共语料库[9, 43, 27, 34, 35]。我们的一级URL模型建立在此工作之上并按马修斯相关系数[25]对候选模型进行排序第六节。在该模型之上我们添加了一个确定性域名守卫它结合了思科Umbra流行度排名[11]、Levenshtein编辑距离[20]以及长期存在的子域中品牌滥用模式[12]。然后二级侧车将一个校准的逻辑回归URL分数[33]与一个基于操作域主机特征使用直方图梯度提升模型[13, 17]进行融合第七节。对于邮件文本我们微调了DistilBERT [41]遵循其他轻量级Transformer钓鱼检测器[5, 38, 6, 44]并通过快速梯度方法对抗训练和字符级噪声增强来强化模型[14, 39]。多头布置遵循多任务学习文献[16, 18]并对不平衡分类任务使用focal loss[21]意图分类法和多源语料库组装借鉴了先前的代码簿和语料库工作[26, 40]模型通过ONNX导出并显式研究了量化[30]。我们将邮件分为合法、垃圾邮件和钓鱼三类而非通常的两类因为垃圾邮件与合法的混淆是二分类和LLM分类器的主要失败模式[45]第九节。在这些组件中URL信誉、发件人信誉和文本意图由不同层评分并在第十节的融合阶段重新组合。III 系统架构我们按设计呈现系统但在已实现和度量的组件与仅被规范的组件之间划清界限。三个服务作为真实的、独立基准测试的引擎交付URL分析服务SVC-03、NLP分析服务SVC-06和威胁情报同步器SVC-11。聚合器SVC-07和决策引擎SVC-08已实现并在第十节的全系统基准测试中运行。其余服务被规范并作为传输存根运行用于锻炼端到端主干。SVC-01 接收 - SVC-02 解析器 - SVC-03 URL - SVC-04 邮件头 - SVC-05 附件 - SVC-06 NLP - SVC-07 聚合器 - SVC-08 决策 - SVC-09 通知 - SVC-10 API - SVC-11 TI同步器(emails.raw, emails.scored)图1系统处理拓扑。粗实线框SVC-03 SVC-06, SVC-11是独立基准测试的引擎虚线框是设计或辅助服务。SVC-11 供给SVC-03消费的Valkey威胁情报缓存。所有Kafka主题均以邮件标识符为键。入站邮件进入接收服务SVC-01它暴露五个源适配器并在组织和消息标识符对上执行去重。解析器SVC-02随后读取MIME结构提取URL使用三种摘要对附件进行哈希计算香农熵和魔数文件类型并发出一个列出其期望下游评分的分析计划。接下来四个分析器并行地对独立模态进行评分URL引擎SVC-03、邮件头分析器SVC-04、附件分析器SVC-05和文本引擎SVC-06。每个发布自己的评分信封。聚合器SVC-07在同步屏障后收集这些信息决策引擎SVC-08混合它们应用规则引擎将混合结果映射为裁决对活动进行指纹识别并在单个事务中持久化结果。同步器SVC-11带外刷新威胁情报存储图1。十二个Kafka主题均以邮件标识符为键因此关于一封邮件的每一条消息都在主题内共分区并按顺序排列。负载是携带版本化信封的JSON交付是至少一次且具有幂等生产者。已实现引擎发出的评分信封是具体的。URL评分消息除了整数分数外还携带威胁情报是否匹配、守卫是否触发、融合的部署概率以及机器学习裁决每封邮件的URL分数是各个链接的最大值。NLP评分消息增加了意图、紧急程度、冒充和欺骗等方面。持久化跨越大约二十三张PostgreSQL表邮件表按月范围分区。从观察到的邮件流量中丰富的威胁与同步器写入的廉价批量指标保存在不同的表中第八节因此昂贵的丰富永远不会与馈送数据混合。裁决是仅追加的。按组织的行级安全已被指定但尚未实施。IV 数据集由于引擎是分开训练和评估的为每个引擎提供的数据值得单独描述。本节记录了最大的两个监督语料库一级URL模型背后的URL语料库和NLP模型背后的多源邮件语料库以及每个语料库是如何组装、去重、划分和标记的以及各自携带的偏差。用于融合侧车的操作丰富数据和全系统基准语料库将在使用它们的组件附近描述分别在第VII节和第X节。IV-A URL语料库URL模型从原始URL字符串中学习因此选择标准仅仅是数据集暴露原始URL文本而不是预提取或离散化的特征。两个公共数据集满足此条件PhiUSIIL [35]包含235795个URL和LegitPhish [34]包含101219个手动验证的URL。其他四个候选者因具体原因被拒绝指名它们是方法论的一部分两个将其特征编码为三元值没有原始URL列另外两个包含大量的完全重复行其中一个数据集有47.6%的重复行。两个选定的数据集原生地将合法标记为1钓鱼标记为0我们将其反转为传统方案0表示合法1表示正类钓鱼。合并这两个集合需要小心。我们删除了URL或标签为空的行以及URL长度小于10个字符或不含点号的行然后不区分大小写地去重在有冲突时保留PhiUSIIL的副本因为它是更大且更新的来源。这移除了37706行。产生的语料库包含299306个URL其中45.2%是合法的54.8%是钓鱼的没有空值或无限特征值。我们按70/15/15分层划分包含44896个URL的保留测试分区被准确评分一次。三个查找表全部从思科Umbra百万顶级域列表[11]构建支持特征提取器一个基于约两千一百万字符语料库的每字符概率表一个针对1319个顶级域的合法性概率表以及一个包含16个安全相关术语的列表。该语料库的两个偏差值得明确说明因为两者都影响了模型的部署方式。数据大致跨越2015年至2023年因此随着钓鱼策略的演变预计会发生概念漂移。更重要的是近乎平衡的类别分布与真实入站流量约1%的钓鱼发生率非常不同这正是部署模型运行在保守阈值并计划在生产数据上重新校准的原因。该语料库也以拉丁字母URL为主国际化域名代表性不足。IV-B 邮件语料库NLP模型在六个真实语料库上训练这些语料库共同覆盖了它必须区分的三个类别。基础是最大的Spam-Ham-Phish Kaggle语料库包含365448条消息[42]这是唯一具有原生三类别标签的来源它包含12477个内部标签冲突我们通过多数投票解决。一个现代教育钓鱼集[4]和一个包含人工和机器生成的钓鱼邮件语料库[15]提供了当代和AI编写的诱饵该研究发布并评估了我们摄入的Kaggle语料库。Nazario [29]和Nigerian-419 [37]集合贡献了2004年以来的真实世界钓鱼邮件。最后一个包含七个历史垃圾邮件语料库[36]的大型聚合包括TREC、CEAS、Enron、SpamAssassin和LingSpam集提供了专门的垃圾邮件类别我们在分析过程中做的一个修正是认识到其正标签表示垃圾邮件而非钓鱼因为其中的每个子语料库在历史上都是垃圾邮件集合。另外四个候选者在检查后被排除其中两个被证明是合成的或在几十个独特文本的层面上近乎重复还有一个已被预先词干化到无法使用。所有来源被映射到整数方案0表示合法1表示垃圾邮件2表示钓鱼这与平台的字符串裁决枚举不同。然后我们分两轮去重首先通过规范化文本的精确哈希然后通过MinHash局部敏感哈希[7]Jaccard阈值为0.80在每个近似重复簇中保留最长的样本。划分是活动感知而非随机的每封邮件由其主题和前一百个字符指纹识别分组洗牌划分将活动的所有变体发送到同一分区并有断言确保没有指纹且类别比例偏差不超过5%跨越分区。随机划分会让一个活动模板同时出现在训练和测试中从而夸大每个指标因此这一步是关键的。目标组成在合法、钓鱼和垃圾邮件之间为40/40/20钓鱼被过度代表以便模型深入学习其决策边界垃圾邮件被控制在语料库的五分之一特别是为了防止主导三类别评估的垃圾邮件与钓鱼混淆[45]。模型第一版和发布版之间的决定性变化不是数据源而是它们如何被组装我们在此描述它因为它既是数据集决策也是训练决策。真实的钓鱼集合大约85%被移入训练保留15%的369条消息作为真实的泛化指标。每个来源都设置了上限以便没有单个语料库的词汇能主导梯度。困难的钓鱼模式与近乎相同的合法孪生配对迫使模型关注区分的意图而非表面短语。大约四分之一的钓鱼消息和十二分之一的合法消息添加了字符级噪声大约六分之一的钓鱼消息添加了leet语替换产生了一个大约188000行的训练集。与URL语料库一样主要的偏差是真实且重要的40/40/20的平衡不同于真实收件箱的大约85/5/10的混合因此需要阈值重新校准分词器仅限英文256个标记的输入窗口会截断非常长的消息。V 实验设置与可观测性在转向引擎之前我们先确定评估协议和用于报告的术语因为后续数字的可信度取决于准确说明每个数字是如何获得的。守卫和融合侧车的延迟数据是在Intel i7-10750H上测量的。NLP模型在部署状态下进行基准测试在CPU上运行于ONNX Runtime并启用全图优化优化缓存将其冷启动时间从一到两分钟减少到几秒钟。URL融合侧车作为一个独立的Python服务运行Go引擎通过HTTP调用它这保持了Go二进制的紧凑性并允许在不重启分析服务的情况下重新加载模型。结果中出现了三个短语每个在这里都有具体含义。“保留”测量是在模型训练期间从未见过的划分上进行的并且在划分是活动感知的情况下甚至没有见过其兄弟。“类生产”数字是在最难的现实切片而非最简单的切片上测量的例如不包含品牌线索的细微通用域名钓鱼我们将其报告为下限而非头条。“快照”是单个时间点的捕获例如一天的新鲜钓鱼馈送快照数字具有宽置信区间并始终与其应被解读的下限配对。主要指标在整个过程中遵循相同的约定马修斯相关系数[25]作为URL模型的主要指标因为它在类别不平衡下考虑了所有四个混淆矩阵象限概率模型的ROC曲线下面积以及假阳性和假阴性率三类别NLP任务的宏平均F1和宏马修斯相关系数[25]以及概率质量的期望校准误差。每个服务都沿三个支柱进行检测Prometheus指标、导出到Jaeger的OpenTelemetry跟踪以及结构化日志Prometheus、Grafana和Jaeger的主机接口各自使用自己的端口。跟踪上下文通过Kafka头在服务间传播因此单个跟踪跨越整个流水线三个共享计数器消息消费、消息生产和每阶段处理时间让我们能够端到端验证消息守恒。所有这些都可以从演示栈中复现。VI 低延迟URL模型L1一级URL模型仅从结构特征将原始URL映射到钓鱼概率推理时无网络调用。它组合了一个确定性提取器 φΣ* → ℝ^30 和一个梯度提升集成 gℝ^30 → [0,1]因此模型是 f(u) g(φ(u))部署的优胜者是阈值为0.85的XGBoost [8]分类器。其训练数据是第四节中合并的299306个URL语料库合法与钓鱼的比例为45.2比54.8。特征向量有三十维。二十八维是结构和词法信号包括URL和主机名长度、点号和连字符计数、子域统计、URL和域的香农熵、源自PhiUSIIL工作[35]的字符概率和延续率分数、顶级域合法性概率以及几个二元标志。剩下的两个是合法性锚点最小品牌编辑距离和顶级百万域列表成员标志这为模型提供了直接的流行度和品牌信号用于深层路径或高熵URL。两个经典推广的特征IP地址主机和路径中的双斜杠完全没有贡献任何分裂并被修剪。实际上重要性由熵和概率表特征主导而非文献通常强调的词法标志表I前五个特征承载了63.1%的累积重要性仅字符概率特征就承载了15.5%。表I优胜模型按分裂计数排名的前10个L1特征。排名特征分裂数累积 %1url_char_prob2,69715.52entropy_domain2,29328.73entropy_url2,24441.64tld_legit_prob2,08153.65char_continuation_rate1,65963.16url_length1,17169.97hostname_length84474.78path_length70878.89avg_subdomain_length69282.810pct_numeric_chars41385.2模型选择是一场较量。十个分类器在相同的70/15/15分层划分下训练并按马修斯相关系数[25]排名我们在此处更倾向于它而非准确率或F1因为它在语料库类别不平衡下权衡了所有四个混淆矩阵象限。一个虽小但有启发性的修复出现在过程中一个备用的顶级域解析器在思科Umbra列表[11]中的裸域上失败安装专用解析器不仅修复了提取器还将顶级域合法性特征提升到重要性第四位。主要结果很强值得清晰陈述而不是放在一个过载的句子里。在44896个URL的保留测试集上最佳模型LightGBM [17]在默认0.50阈值下达到了0.99645的马修斯相关系数。其伴随指标为准确率99.824%精确率99.919%召回率99.760%F1为99.839%。其ROC曲线下面积为0.99929对数损失0.01026假阳性率0.099%假阴性率0.240%对应混淆矩阵为20275个真阴性20个假阳性59个假阴性和24542个真阳性。部署的工件是XGBoost [8]而非LightGBM并在保守的0.85阈值下运行其嵌入指标准确率0.9658F1 0.9683马修斯系数0.9333较低正是由于更高的阈值以召回率换取精确率明确区分这两个操作点避免了混淆。特征提取运行速度约为每秒六万个URL单URL推理约1582微秒。在运行时一级模型仅在域名守卫第七节之后执行。在面向用户的扫描端点中处理程序故意将一级分数强制为零因此裁决由威胁情报匹配和融合侧车设定分数阈值分支仅在批量流水线中运行。一级分数仍然计算并返回用于可观测性。残余限制是第四节中注明的语料库偏差需要在部署后重新校准阈值。VII 域名守卫与L2融合第六节的一级模型位于一个四阶段URL流水线内部域名守卫、一级模型、威胁情报查找和L2融合侧车每个早期阶段都能短路后续阶段。本节涵盖守卫和侧车消费其输出的决策引擎在第十节描述。VII-A 域名守卫守卫首先运行用Go编写。它首先通过公共后缀列表[28]派生URL的可注册顶级域然后按顺序应用三个信号。一个包含思科Umbra最流行域名[11]的万条目白名单在构建时作为哈希集嵌入二进制文件中以实现常量时间查找命中时返回合法裁决并跳过流水线的其余部分。如果失败则进行Levenshtein距离为一的拼写错误检查[20]将顶级域与相同的万个参考域名进行比较长度差距测试在编辑距离计算运行之前丢弃任何差异超过一个字符的候选匹配产生钓鱼裁决。最后子域中的品牌扫描[12]检查至少四个字符的非顶级域标签是否匹配20个手工筛选的品牌子串同样在命中时返回钓鱼。守卫是下游融合权重可以对知名域保持激进而不会产生误报的原因因为这些域永远不会到达侧车。在i7-10750H上测量白名单命中解析约43纳秒最坏情况全扫描拼写错误检查约51微秒子域中品牌命中约157纳秒顶级域提取在1微秒以下。VII-B 两个融合模型当守卫未触发且威胁情报尚未返回高置信度裁决时侧车计算两个概率并融合它们。第一个是字符级URL概率。一个字符n-gram模型n∈[2,4]输入一个具有2^18个桶的哈希向量化器这意味着没有拟合词汇表模型在数据漂移下保持无状态。其输出驱动一个L2正则化逻辑回归C2.0类别权重平衡liblinear求解器迭代上限3000次。由于逻辑回归输出原生Sigmoid概率此分数已为线性组合校准不需要用于基于间隔的分类器的单独Platt缩放校准器[33]。输入被规范化为ASCII小写路径进行百分号解码主机进行punycode解码。这个模型的故事值得讲述因为其第一版是一个警示故事它的曲线下面积仅为0.757是过拟合增强方案和明显泄漏的产物因为其钓鱼增强正是来自用于测试它的基准。发布的第三版在304181行上重新训练包括合并的基础语料库加上真实的Fresh OpenPhish增强[31]和硬良性增强消除泄漏将保留性能提升到下面报告的数字。第二个是来自直方图梯度提升分类器[13, 17]的操作概率基于活动主机的四十四个特征二十八个原始丰富字段涵盖自治系统、地理位置、TLS、HTTP和WHOIS数据以及十六个派生特征。其中三个派生特征描述了当前训练数据之前存在的页面级结构因此它们被训练为缺失值分类器通过不在完全缺失的列上学习分裂来原生处理它们。高基数分类字段被哈希到四千个数值桶中。基础操作训练语料库包含100000个标记的URL钓鱼和良性类别平衡具体化为静态实时丰富特征行在ready_operational中进行分层训练、验证和测试划分保留测试拆分包含15000个URL每类7500个。训练数据中的两次合成注入是关键的而非装饰性的。一千五百个平台行教会模型托管在Vercel、Netlify或GitHub Pages等临时平台上本身并非有罪通过将良性品牌认证和开发者部署页面与钓鱼平台页面配对使模型学会根据子域中品牌计数、标题不匹配和域年龄而非仅平台本身进行区分。四百个良性短链接行对bit.ly、t.co和类似域做同样处理这些域在钓鱼馈送中不存在因此否则将完全没有先验。VII-C 融合决策函数融合通过一个基于区域的不对称规则将URL概率 url_p 和操作概率 op_p 组合成部署概率 deploy_p。三个布尔掩码选择区域该设计源于两种模型的不同错误模式。URL概率会过度标记关键词繁重的小型企业银行域名而操作概率会过度标记基础设施看起来干净的CDN前置钓鱼。因此每个模型仅在其可靠的地方被允许主导。(4)给出了规则从上到下评估第一个匹配的子句获胜其中short标记已知URL短链接部署阈值0.50随后产生二元裁决。短链接覆盖降低了URL概率的权重因为短链接顶级域本身不提供信息例外保留为正常混合是当URL模型以超过95%的置信度认为短链接域本身是恶意的时。高操作守卫存在是因为合法平台部署的URL概率大约在0.001到0.026之间而同一操作区域中的真实钓鱼的URL概率至少为0.06在那里回退到正常混合可以抑制误报而不抑制真报。一个区域被移除而非添加移除是有证据驱动的一个较早的“已建立域”区域过度加权了看起来非常干净的基础设施的操作概率一个基准测试将其归因于每次运行大约八十个额外的假阴性因此它被删除。VII-D 侧车与集成Python侧车暴露一个小型HTTP接口用于健康检查、批量评分、单URL评分以及Go丰富器在已计算操作特征时使用的特征绕过路径。一个具有默认阈值0.50的Go检测器通过一个以完整URL而非顶级域为键的五分钟、万条目缓存调用它这是基于同一域上不同路径之间缓存冲突的修复。每当威胁情报未匹配或匹配但风险分数低于80时就会咨询侧车这将低置信度的情报命中转化为融合可以确认或拒绝的提示而非独立裁决。网络边界处的守卫拒绝对非公开地址的连接以限制服务器端请求伪造并且侧车是故障开放的如果它不可达则守卫和情报裁决成立机器学学习字段被简单地省略。VII-E 测量性能表II报告了在六个钓鱼语料库上的检测率和在干净的保留良性拆分上的假阳性率侧车单独测量且有意未应用生产白名单。检测范围从在新鲜、未见过的OpenPhish快照上每个样本都被评分到在不包含URL中品牌线索的细微通用域名钓鱼上的74.7%这是类生产流量的诚实下限。干净的保留良性假阳性率为1.3%。在硬良性语料库上看到的更高比率反映了知名域生产白名单在咨询侧车之前就已短路它们因此干净的保留数字具有代表性。就单个模型而言第三版URL概率在阈值0.50时达到了0.974的保留曲线下面积良性假阳性率为0.6%操作模型达到了0.99985和0.99968的验证和测试曲线下面积。表IIL2侧车按语料库的检测率DR干净良性FPR。语料库评分数量DRFresh OpenPhish (训练时未见)286100.0%混合钓鱼 (OpenPhish/PhishTank [10]/手动)30797.5%实时地面真实钓鱼7598.5%子域链对抗性32189.4%LegitPhish/PhiUSIIL 细微钓鱼15074.7%错误分析假阴性6116.4%LegitPhish/PhiUSIIL 良性 (干净保留)1501.3% (FPR)VIII 威胁情报同步SVC-11同步器是一个独立的定时Go服务位于Kafka路径之外。它将外部馈送摄入PostgreSQL刷新在其上构建的物化视图并重建URL引擎以亚毫秒时间查询的Valkey域名黑名单缓存。一次代表性运行在四个馈送中持有2678个活跃指示器和大约四百个缓存的域键这些馈送的一个完整周期大约在八秒内完成。表III列出了五个馈送——PhishTank [10]、OpenPhish [31]、URLhaus [3]、ThreatFox [2]和MalwareBazaar [1]——及其固定的风险和置信度先验以及在该运行中观察到的计数。两个设计选择赋予了存储其特性。指示器按每个馈送键馈送、类型和值进行更新插入因此同一个指示器由两个馈送报告会产生两行馈送计数本身成为确证信号在冲突时风险分数通过取两者中的较大者合并同步中不再看到的指示器被标记为非活跃而非删除这让下游服务可以区分“当前在黑名单中”和“曾在黑名单中”。一个有意的模式分离将批量馈送指示器路由到指示器表恶意软件哈希路由到附件库这使填充邮件观察威胁表的昂贵每主机丰富完全脱离廉价的批量馈送数据。表III摄入的TI馈送显示可用时的实时运行计数。馈送类型风险置信度实时PhishTankURL900.95—OpenPhishURL850.80300URLhausURL800.751,946ThreatFoxURL/域/IP/哈希置信度级别432MalwareBazaar哈希 - 库900.9530IX NLP邮件分类SVC-06NLP引擎将邮件文本分类为合法、垃圾邮件和钓鱼并发出内容风险分数、意图标签、紧急分数和混淆标志。它是一个通过ONNX Runtime在FastAPI进程后提供服务的微调DistilBERT模型。发布的检查点cycle-12是泛化强化的较早的检查点发布了强的同分布指标但在保留的真实钓鱼上崩溃了表IV。IX-A 模型与预处理主干是基础无大小写DistilBERT大约有六千六百万个参数[41]在共享编码器上承载三个头。分类头是三个类上的softmax使用focal loss训练γ2.0 [21]一个十一类多标签意图头其分类法借鉴了定性钓鱼代码簿工作[40]使用每类sigmoid一个标量头预测紧急程度。在微调期间发布配方中的每个样本都屏蔽了意图和紧急损失分析显示携带这些标注的语料库是合成模板数据而非代表性活动因此被排除在训练之外所以辅助头在cycle-12中骑在共享编码器上而没有直接监督。在服务时意图标签和紧急分数由部署关键字规则产生——覆盖十一类分类法的正则表达式和紧急短语的缩放计数——而不是由辅助头产生辅助头在标注训练数据可用之前保持非活跃。三个损失通过同方差不确定性加权[18]自动平衡这防止了容易的分类任务主导辅助头。输入是主题和正文连接并分词为256个标记采用64个前导标记和190个尾部标记的头-尾分割以便开头钩子和结尾行动号召都能在截断中幸存。预处理是最关键的设计选择它存在于训练和服务共享的单个模块中因此两条路径永远不会偏离。其十一个步骤首先剥离URL和裸邮件地址因为它们的信誉是URL和邮件头引擎的工作移除它们迫使模型学习意图而非记忆链接字符串。其余步骤规范化对抗性表面形式Unicode兼容性规范化、跨字体同形字折叠、leet语折叠、重新连接字母间有空格的单词以及移除零宽字符。由于规范化在推理时将已知攻击映射回干净分布大多数字符和编码级别的规避无需重新训练即可防御。新的编码成为新的规范化器而非新的训练周期。IX-B 训练与泛化微调使用AdamW [22]学习率2×10⁻⁵预热比例0.1批量大小32三个周期权重衰减0.01头部丢弃率0.3。鲁棒性来自快速梯度方法对抗训练[14, 39]它沿着归一化损失梯度扰动输入嵌入δ ϵ * ∇_e L_clean / ||∇_e L_clean||_2其中ϵ0.01并在干净损失和对抗损失之和上训练L_total L_clean λ * L_advλ0.5。它通过字符噪声增强约四分之一的钓鱼消息和十二分之一的合法消息和leet语替换约六分之一的钓鱼消息得到加强。将过拟合基线转变为可部署模型的是第四节中描述的数据集端重新设计保留的真实钓鱼测试拆分、每源上限和对比配对比特桶。鲁棒性通过变形不变性而非固定的攻击列表进行验证模型已捕获的钓鱼消息的任何语义保持变换都不能让其逃避一个包含十二种此类变换的注册表会自动应用于捕获的钓鱼语料库。添加未来的攻击类别是一个变换函数应用于每个基础案例。IX-C 结果表IV对比了过拟合第一版与cycle-12。同分布指标两者都很强但只有cycle-12能在保留的真实钓鱼上泛化通过六十四轴可部署性门并在变形测试集和一个从未见过的探测集上记录零逃避。残余错误集中在平静的商业诱饵上其消歧信号是模型故意移除的URL和发件人。在这些案例上推动召回率需要付出同等数量的合法精确率——一个纯文本的帕累托边界——因此架构感知的决策是将它们推迟到URL、发件人和融合层。表IVNLP结果过拟合v1 vs. 发布版cycle-12保留测试除非另有说明。指标v1 (过拟合)v2 cycle-12宏 F10.9870.979宏 MCC0.9800.969钓鱼召回率0.9860.978合法 FPR0.0080.0118保留真实钓鱼召回率0.0080.87364轴可部署性门失败通过变形测试集 (12)逃避0 逃避新颖探测 (8钓鱼/6合法)—0 FN / 0 FPIX-D 服务与量化该服务作为容器中的两个进程运行一个Go包装器在一个端口上一个Python推理引擎在另一个端口上第五节。内容风险分数与阈值无关是舍入到一百的钓鱼概率对于边缘情况钓鱼概率的调整提升下限为0.24。量化是作为实验而非假设进行研究的遵循先前关于Transformer量化鲁棒性的工作[30]。早期的INT8尝试因导出路径错误而失败在cycle-12上重新干净运行测量了真实的权衡动态INT8小四倍快1.83倍在自信案例上相同但它会使边缘分数抖动高达七十七个点而静态INT8会使自信的钓鱼完全崩溃。由于分数输入聚合裁决并且必须在边缘邮件上保持稳定部署的精度是忠实的32位浮点数约266兆字节精确到PyTorch模型最大logit差异为零。测量的CPU延迟中位数为9.8毫秒95百分位数为11.3毫秒在服务预算内低一个数量级。X 决策级融合与全系统基准测试前面各节的三个引擎各自发出每模态分数。聚合器SVC-07和决策引擎SVC-08第三节将这些分数转化为一个裁决同步屏障收集通道分数混合器融合它们规则引擎和裁决带映射结果活动指纹按发件人、URL、主题哈希、意图和64位SimHash [23]分组模板变体。X-A 融合函数混合器是可配置的模式选择是实质性的设计问题。生产默认是校准的概率OR每个通道的分数被映射到校准的钓鱼概率通道概率作为噪声OR组合[32]以便一个自信的通道足以提升裁决。两种更简单的模式保留作为回退。第一种是存在通道上的加权平均risk ∑_c w_c s_c / ∑_c w_cURL、邮件头、NLP和附件通道的权重分别为0.35、0.30、0.25和0.10其已知弱点是它会稀释单个自信通道因此URL引擎定为100但文本和邮件头干净的URL混合下来大约为39并被低估。第二种是手动设置的噪声OR每通道可靠性 r_c 默认为1.0其单通道下限保留了加权平均会稀释的确认信号。校准的概率OR是将相同的OR应用于每通道校准概率而非原始分数它是默认值因为校准使通道在组合之前具有可比性。产生的风险映射到四个裁决带从良性到可疑和钓鱼最高带保留给高置信度钓鱼或恶意软件。X-B 全系统基准测试诚实评估融合比评估任何单个引擎更难因为在同一合成生成器家族上调整和测试的融合将简单地记住该家族。因此我们构建了一个代表性的全系统基准测试一个包含10677封邮件的语料库大致按照真实流量的85/5/10合法/垃圾邮件/钓鱼混合。其合法、垃圾邮件和真实钓鱼层锚定在公共语料库中Enron [19] SpamAssassin [24], Nazario [29], and Nigerian-419 [37]仅正文合成层增加了全邮件头、多通道压力案例这些案例锻炼了仅正文真实层无法覆盖的邮件头和URL通道。四百行被保留为无泄漏的真实钓鱼切片。以下每个数字都受一个诚实性约束只有NLP通道是真实的生产模型。此基准测试中的URL通道是词法代理而非第七节的融合分数邮件头通道是规则代理。因此基准测试描述了融合决策的形态它不是生产准确性声明。评估协议有意保守。兄弟生成器家族被合并为机制组每封邮件由一个校准的混合器评分该混合器从未见过其组这是一个池化越折方案防止家族记忆伪装成泛化。我们报告威胁视图其中钓鱼是正类合法和垃圾邮件都是负类因此标记营销垃圾邮件算作假阳性因为将垃圾邮件留在收件箱中是预期的产品行为。操作点是校准的钓鱼概率高于0.255。在此语料库上修正后的NLP模型在自然混合上达到了0.9518的三类别准确率。表V中的融合比较是核心结果。发布的内容承载混合保持了高召回率但操作点不佳标记了58%的垃圾邮件F1仅为0.774。添加专用钓鱼概率头显著提高了精确率。完全放弃内容风险通道仅融合URL、邮件头和钓鱼概率通道在F10.914时表现最佳。原因清晰且与泄漏无关内容风险通道等于一减去合法性概率因此它在真实垃圾邮件上触发而在保留的真实垃圾邮件上内容承载混合错误标记了93.9%为钓鱼而内容无关混合仅错误标记了3.6%。放弃内容几乎不损失召回率因为几乎没有钓鱼邮件仅靠内容通道就能被挽救。使用此混合器整个系统几乎实现了模型的所有文本钓鱼召回率合成对抗家族被完全捕获真实的Nazario和Nigerian家族分别为0.976和0.996。表V在10677封邮件基准测试上的全系统融合保留钓鱼-vs-其余校准P0.255。通道u URL h 邮件头 c 内容风险 p 钓鱼概率。融合召回率FPRF1垃圾邮件 FPR校准OR [u, h, c] (发布)0.8980.0440.7740.58校准OR [u, h, c, p]0.8440.0010.9120.004校准OR [u, h, p] (推荐)0.8810.0050.9140.004探索并故意拒绝了一个学习融合这本身就是一个结果。在固定的百分之一假阳性率下的五折较量中一个普通梯度提升堆叠器[8, 13]达到了99%的召回率单调约束变体为98.6%而加权平均为63%。这些语料库内的数字很诱人但不可信在机制分组协议下学习组合器在组外崩溃因为它们的余量来自记忆生成器家族。更简单的校准概率OR能够泛化因此这是我们推荐和发布的。四个限制条件界定了这些数字在此处说明而非放在遥远的限制列表。URL和邮件头通道是代理。真实钓鱼家族可能与NLP训练数据重叠将其概率降低到合成分布会使召回率从1.000降至0.875。操作阈值是在合成数据上校准的在合成到真实的保留集上显示出大约百分之二十一的假阳性率因此必须在部署前重新校准。历史URL上的实时丰富超时进一步降低了代理URL通道的性能。XI 评估详细结果表与它们的子系统放在一起表I、IV、II和V。本节将它们与服务级别目标进行交叉分析界定每个声明的限制条件已在第X节中整合并在下面总结。在检测方面四个引擎构成了一幅连贯的图景强的保留词法URL性能第六节一个融合侧车其检测率范围从对新鲜钓鱼的完全覆盖到对细微通用域名诱饵的74.7%干净良性FPR为1.3%第七节一个NLP分类器能够泛化到保留的真实钓鱼同时通过可部署性和变形门第九节以及一个全系统融合在代表性基准测试上达到F10.914第十节。同步器在四个馈送中维持了2678个活跃指示器每个周期约八秒第八节。在延迟方面每个已实现的引擎都在其目标内良好运行。域名守卫在几十纳秒到几十微秒内解析单URL一级推理约1582微秒NLP模型在CPU上的中位数和95百分位数分别为9.8毫秒和11.3毫秒——比每个模型的99百分位数服务级别目标URL为5秒NLP为10秒低一个数量级。在可观测性方面单个Jaeger跟踪跨越了所有服务流水线范围的Kafka计数器显示了11消息守恒第五节。这是关于消息流的集成证据而非检测结果。几个限制条件界定了这些数字。每引擎数据涉及三个已实现的引擎而非完全集成的生产裁决。侧车硬良性FPR是在未应用生产白名单的情况下测量的1.3%的干净保留数字具有代表性。全系统基准测试使用代理通道在其真实钓鱼切片上存在训练污染风险并且需要阈值重新校准——详情见第X节。XII 讨论该系统最好从两个层面解读三个模态引擎在真实模型和数据上进行了基准测试决策级融合在代理通道上进行了表征并仍然是一个初步的综合结果第X节。指导性教训是模态分离作为一个建模原则。NLP模型在剥离URL和发件人后在平静的商业诱饵上达到纯文本的帕累托边界域名守卫移除了容易的灾难性URL以便侧车可以激进地加权全系统基准测试表明放弃将垃圾邮件与钓鱼混为一谈的内容风险通道转而使用专用的钓鱼概率头是使融合裁决对新的垃圾邮件活动保持稳健的原因。剩余的限制是被跟踪的而非开放的拉丁字母URL偏见和概念漂移没有同步器领导者选举融合阈值等待重新校准行级安全和死信路径尚未实施。最明显的缺口是一个真实的、标记的、包含实时URL和邮件头的完整邮件的多通道语料库——这将允许融合在生产通道而非代理上进行重新训练。XIII 结论我们提出了一种用于钓鱼和威胁分类的混合流水线其核心主张是融合独立的、特定于模态的信号优于强迫一个模型来裁决整条消息。三个引擎——URL、NLP和威胁情报同步——被独立基准测试一个决策级融合阶段在代表性的全系统基准测试上重新组合它们的分数。泛化能力而非同分布准确性是约束性条件NLP重新设计将保留的真实钓鱼召回率从0.8%提升至87.3%而URL栈将确定性守卫与基于实时丰富的概率融合相结合。融合基准测试表明URL、邮件头和钓鱼概率通道上的校准概率OR达到了F10.914并对新的垃圾邮件活动保持稳健但它使用了代理通道和一个等待重新校准的操作点——这是一个初步的综合结果而非生产裁决。未来的工作是获取真正的多通道标记语料库以便融合可以在生产通道上验证在实时流量上重新校准阈值并一旦该语料库存在用学习到的元分类器替换手动调整的跨模态规则。