1. 这篇论文处理的痛点异构图里的属性缺失1.1 异构图是什么以及为什么属性会缺失先聊点基础。异构图指的是节点类型和边类型不只有一种的图结构。举个最常见的例子在学术网络里论文Paper、作者Author、会议Venue是三种不同类型的节点它们之间的关系也不一样——作者写了论文、论文发表在会议上这属于类型不统一的边。用户推荐系统里则是用户、商品、店铺、标签混在一起天然就是异构的。异构图神经网络HGNN方向做了很多工作像HAN、HGT、HGCN这类模型核心思路都是通过元路径Meta-path或者异质注意力机制把不同类型节点的信息互相传播、聚合从而学出更好的节点表示。这类模型在节点分类、链路预测、推荐等任务上效果确实不错。但在实际工程和真实数据集里有一个让人头疼的问题节点属性往往是缺失的。社交网络里的新注册用户没有个人资料商品页缺少图片和描述学术网络里老论文只有标题没有摘要、甚至标题都残缺。这时候你把图喂给异构GNN模型要么需要自己想办法填坑要么干脆把缺失的节点当“冷启动”处理效果大打折扣。更麻烦的是现有的大多数异构图模型都有一个隐含假设属性是完整的、可用的。但这个假设在现实中基本不成立。把一个属性残缺的图直接丢给HGT或者HAN聚合邻居信息时缺失值会顺着图结构一路传播、污染周围节点。这就像把一块拼图少了几块硬拼上去哪怕周围拼得再漂亮整体图案也是歪的。1.2 现有方法为什么解决不了这个坑很多研究者都踩过所以之前也有一些方案试图处理属性缺失问题。但站在现在的视角回头看这些方案各有各的毛病。第一类是做零填充Zero-filling或者均值填充。简单粗暴把缺失的属性列填0或者训练集均值。这种方法最大的问题是完全没有利用图结构信息缺失节点补出来的属性是一个“哑值”既区分不了个体差异还会在消息传递过程中干扰邻居节点。我在实际项目里试过zero-filling节点分类准确率直接掉了七八个点而且训练时loss波动特别剧烈。第二类是用矩阵补全Matrix Completion或者自编码器做属性恢复。这类方法能利用节点之间的特征相似度推测缺失值但它们本质上是纯特征空间的方法忽略了图拓扑中蕴含的关系信息。在异构图上这个问题更突出——不同类型节点之间的关联规律差异很大用一个统一的矩阵分解框架很难捕捉到跨类型的依赖。第三类是修改模型架构让GNN自带“抗缺失”能力。比如对不同缺失率的特征做mask或者用专门的聚合策略绕过缺失值。这类方法的问题在于它们本质上是在“容忍缺失”而不是“解决缺失”。一旦缺失比例上升模型容量就被迫用来做特征重建而不是学习任务相关的语义信息主任务效果依然会明显下滑。所以HGNN-AC这篇工作的出发点很明确**与其让下游模型背着属性缺失的包袱硬跑不如在进模型之前先把属性补全这一步单独做好。**它把“属性补全”从隐式的、捎带的工程处理变成了一个显式的、可学习的模块并且和下游的异构图编码器联合训练。这个思路的转变是论文最核心的贡献。2. HGNN-AC的核心思路把“补全”做成一个独立任务2.1 为什么选择属性补全而不是属性传播先做一个对比为什么不做属性传播属性传播的思路是把已知节点的属性沿着图的边扩散到未知节点类似标签传播Label Propagation的做法。这个想法听起来自然但实际执行起来有几个问题。第一异构图的边类型多样不同类型的边对属性的“传递可信度”完全不同。作者和论文之间的关系和论文与会议之间的关系表达的信息粒度不一样。用统一传播系数会扭曲属性分布。第二传播是一个迭代过程走几步收敛之后所有缺失节点的属性会趋向于同一批邻居的均值区分度很低。第三传播只利用了邻居信息完全没有用到节点自身的可观测属性。如果一个节点有部分属性是已知的传播方法会把这部分信息白白扔掉。HGNN-AC选择的是“补全”路线也就是用一个可学习的生成器综合利用拓扑信息和节点自身已知属性直接预测缺失的那部分属性向量。这和传播有本质区别它不是把别人的属性“搬”过来而是像一个熟悉这个领域的人看到你有一篇论文发在顶会、合作者里有几位知名学者就能大致推断出你近期的研究方向——当然这里的“推断”是通过神经网络参数化的。这个选择背后的逻辑很清晰补全器可以端到端地学习损失函数直接反向传播到生成器参数上不存在传播迭代的收敛问题和误差累积问题补全器可以同时吃节点自身属性、邻居属性、图结构信息信息利用率远高于传播。2.2 整体框架补全器 编码器的联合学习HGNN-AC的整体框架可以拆成两个大模块属性补全模块Attribute Completion Module和异构图编码模块Heterogeneous Graph Encoder。属性补全模块干的事情是对每一个属性缺失的节点找到它的一组拓扑邻居论文里叫Topology Neighbors然后把这些邻居的属性以及节点自身已知的属性喂给一个生成器输出缺失属性的预测值。生成器的核心是一个MLP加注意力机制——注意力用来衡量不同邻居对这个节点属性补全的贡献权重。异构图编码模块就是一个标准的异构图神经网络它接收补全后的完整属性矩阵通过元路径或者异质注意力做消息传递最终生成节点表示用于下游分类等任务。关键在于这两个模块不是先后独立训练的而是联合训练。整体的损失函数包含任务损失比如分类的交叉熵和属性补全的约束损失两者一起优化。这样做的好处很明显补全器不是在“凭空猜测”属性而是朝着有利于下游任务的方向去补。就像做阅读理解时如果你知道后面会考什么类型的问题回看文章时自然会重点关注相关细节。我用一个类比来帮助理解这个框架有点像一个带“预习”的图神经网络。编码器是正式考试补全器是考前预习。预习不是孤立地背书而是根据考纲下游任务有针对性地补知识盲区。两者同步迭代预习效果越来越好考试分数自然也越来越高。3. 方法细节拆解拓扑邻居选择与属性补全生成器3.1 拓扑邻居的选择策略既然要利用邻居信息来补全属性第一个问题就是选哪些邻居直觉做法是选直接相连的邻居。但异构图里有不同类型的关系直接邻居未必都有价值。比如在一个学术网络中论文节点的直接邻居有作者、有引用关系但一篇论文被引用的邻居可能和它主题并不接近——被引不代表同主题。所以直接邻居的信息噪声很大。HGNN-AC在选邻居时采用了随机游走Random Walk策略。具体怎么做的呢在异构图上执行带重启的随机游走从目标节点出发按照设定好的元路径或者转移概率游走若干步最终保留下访问频率最高的K个节点作为拓扑邻居。这样选出来的邻居既考虑了多跳的结构信息又天然适配异构图的类型差异。这个选择和直接用元路径邻居相比有一个优势元路径是手工定义的需要领域知识而且一旦定义错了信息就偏了。随机游走则更自动化且能覆盖多条元路径的组合语义。我在复现的时候发现一个细节随机游走的步长和重启概率论文建议的Restart Probability大概在0.3到0.5之间会影响邻居质量。步长太短邻居局限在局部信息量不足步长太长游走跑到语义不相关的远端反而引入噪声。重启概率高一点会让游走更偏向局部上下文低一点则更能探索远端结构。针对不同数据集这个参数需要调。选好邻居之后还有一个筛选问题不是所有K个邻居都对补全有帮助。有些邻居自身属性也残缺把它们拿过来反而污染补全过程。HGNN-AC的做法是通过注意力机制给每个邻居分配权重让模型自己学会“谁值得参考、谁应该忽略”。这比硬编码规则要灵活得多。3.2 属性补全生成器结构、输入与输出生成器具体长什么样从论文的实现来看它是这样一个流程首先对于目标节点v我们将它自己已知的那部分属性向量记为x_v^obs同时把v的拓扑邻居u_1, u_2, ..., u_K的属性向量已知部分组成一个矩阵X_nei。然后通过一个注意力打分函数计算每个邻居的权重α_i softmax( LeakyReLU( a^T [ W x_v^obs ⊕ W x_{u_i}^obs ] ) )其中W是共享的线性变换矩阵a是注意力参数向量⊕表示拼接。这个打分公式和GAT的注意力机制很像但它的作用场景完全不同——GAT用注意力做分类任务的邻居聚合这里用注意力做属性补全的邻居筛选。拿到注意力权重后对邻居属性做加权求和得到一个上下文向量c_v。然后把这个上下文向量和节点自身已知属性拼接喂给一个两层的MLPx_v^comp MLP( [ x_v^obs ⊕ c_v ] )输出的x_v^comp就是缺失属性的预测向量。如果你觉得这个结构眼熟没错它的整体模式有点像Graph Attention Network里的aggregation但目标函数和用途完全不同。值得注意的一个细节是生成器的输出维度要和缺失属性的维度严格对应而不同节点的缺失位置可能不一样。处理方式是对属性矩阵做mask——哪一维缺失哪一维才计算补全损失。已知维度则直接保留原始值。这样设计的好处是同一个模型可以适用于任意缺失模式的节点泛化性更强。3.3 异构图编码器补全之后才是正式任务属性补全完成之后整个属性矩阵就完整了。这时候把它交给异构图编码器做下游任务。论文中使用的编码器是异构图上基于注意力的编码方式。基本流程是把不同类型的节点通过类型相关的线性变换投影到同一语义空间然后在元路径或者直接邻居上执行注意力消息传递每层更新节点表示。多层堆叠之后取最后一层表示做节点分类。这个编码器在结构上没有做特别花哨的改动属于“拿来即用”的成熟架构。但这恰恰体现了这篇工作的设计哲学**属性补全模块是通用的可以对接各种下游异构图编码器不绑定某一种特定架构。**换句话说HGNN-AC更像是一个即插即用的前置模块而不是一个自成体系的新模型。这个特性对实际应用很重要意味着你可以把补全模块接到你现有的异构图模型上而不用推翻重来。编码器输入的属性矩阵包含了补全后的向量由于补全模块和编码器是联合训练的编码器在反向传播时会给补全模块提供梯度信号引导它优化补全结果。这就形成了一个闭环补全帮助编码器做更好的分类分类信号反过来帮忙校正补全。4. 损失函数与训练策略联合优化到底在优化什么4.1 三个损失项的分工HGNN-AC的损失函数不是一个简单的分类损失而是由三个部分组成的联合损失。我在复现时把每个损失项都拆开分析了一遍这里详细说一下。第一项是下游任务的监督损失。如果是节点分类就是交叉熵L_task -Σ_{v∈V_labeled} Σ_c y_vc · log( p_vc )这一项确保补全模块不是天马行空地随意生成属性而是要让下游任务的效果更好它把“补全”和“任务”绑在了一起。第二项是属性重建损失。具体做法是对已知属性的节点用生成器重新走一遍补全流程然后计算生成结果和真实属性之间的差距MSE或者L1距离L_attr Σ_{v} || g(x_v^obs, N(v)) - x_v^true ||_F^2这里有个关键技巧重建损失不光作用在缺失节点上还作用在属性完整的节点上。这样做是为了让生成器学习到“正确的补全应该长什么样”——如果只在缺失节点上算损失模型连优化的目标都没有因为缺失节点的真实值是未知的。用一个形象的比喻你不能让一个学生只做没有标准答案的题目来提升成绩你得让他同时做大量有标准答案的练习题。第三项是图结构的正则化约束保证补全后的属性矩阵和图结构的一致性。常用的方式是让补全属性经过一个浅层的结构编码后依然能较好地恢复图的邻接关系L_stru Σ_{(u,v)∈E} -log( σ( z_u^T z_v ) )这一项的逻辑是如果补全出来的属性是合理的那么属性相似的两个节点应该更有可能相连。这在社交网络和引用网络里尤其成立——同主题的论文互相引用兴趣一致的用户互相连接。所以结构正则起到一个“属性-拓扑一致性”的约束作用。总的损失就是这三项的加权和L L_task λ₁ L_attr λ₂ L_stru4.2 为什么选择重建损失而非端到端的隐式学习这里要回答一个常见问题既然有任务损失为什么还要额外加属性重建损失和结构正则直接让任务损失反向传播驱动补全模块学习不行吗理论上可以但实践中效果会打折扣原因有两个。第一个原因是梯度的稀疏性。任务损失只对有标签的节点提供监督。如果标签节点数量很少而需要补全属性的节点很多那么绝大多数补全器参数只能收到信息衰减后的微弱梯度训练效率极低。属性重建损失则弥补了这一点——它对所有属性完整的节点都计算损失梯度覆盖范围广得多。第二个原因是过度拟合任务的风险。只靠任务损失驱动补全补全出来的属性可能完全是为了骗过分类器而生成的高维“技巧性”特征而不是真实的语义信息。这样的表示泛化能力差换一个下游任务或者换一批数据就崩了。重建损失和结构正则就像两个“锚”把补全结果约束在合理的属性流形上避免模型走偏。我在实验中发现λ₁的取值对结果影响很大。取太小补全模块学不到位补出来的属性几乎全是噪声取太大补全模块过度关注属性重建忽略了任务目标下游准确率反而下降。论文中的策略是先设一个较大的λ₁让补全趋于稳定然后逐步衰减让任务损失逐渐占据主导地位。这是一个非常实用的小技巧。期望按照上面的格式输出博文内容。 ## 1. 这篇论文为什么值得读异构图里的属性缺失问题说一个做异构图研究或者应用的人大概率都撞过的墙节点属性有缺失。这里的“属性”不只是文本、图像这类内容特征也包括用户标签、商品类目、论文关键词等结构化信息。现实中几乎没有哪个图数据集是干干净净、每个节点属性都完整的。新用户资料空白、老论文摘要缺失、商品条目信息不全这些都是常态。但绝大多数的异构图神经网络Heterogeneous Graph Neural Network工作比如HAN、HGT、HGCN都默认输入图是属性完整的或者最多做一版零填充zero-filling草草处理。这种“假装问题不存在”的做法在真实数据和真实业务里会付出很大代价。HGNN-ACHeterogeneous Graph Neural Network via Attribute Completion这篇WWW 2021的论文核心就是解决上述问题。它的思路非常直接属性缺失就不要硬着头皮编码先通过图的结构信息把属性补全补完再交给下游的异构图模型去用。听起来是个很自然的想法但真正把这个想法做成一个通用框架并且在理论上和实践上都打磨到位并不简单。这篇论文适合三类人精读一是做图神经网络研究、想在属性鲁棒性方向上找切入点的人二是在工业界做推荐、社交网络分析、风控等方向、被数据稀疏和冷启动折磨的工程师三是想系统了解“异构图建模中如何引入迁移、补全、生成性思路”的研究者。这篇论文给出的不只是一个个模型结构而是一套“属性质量不行时图模型该怎么办”的方法论这个方法论到今天依然适用。另外HGNN-AC的代码和实验分析都做得比较完整方便复现这也是我推荐精读的一个原因。做研究最怕的就是论文结果只能在作者那台机器上跑出来这篇论文在这方面的可信度还是不错的。接下来我就从方法拆解、原理分析、复现要点和实操经验四个维度把这篇文章彻底讲透。2. 属性补全的思路拆解为什么补全比硬编码更靠谱2.1 现有方案的问题零填充和信息丢失先说说大家最常用的“土办法”——零填充。把一个缺失的属性维度用0填充简单、省事所有图模型框架里都有默认支持。但它的致命问题在于0这个值在特征空间里是有语义的它会告诉模型“这个特征不存在”但这个语义和节点的真实属性分布没有任何关系。在GNN的消息传递机制里一个属性全是0的节点它的特征向量在聚合邻居信息时几乎不携带自身信息相当于这个节点在结构上是图的一员在特征上却是一个“黑洞”把邻居信息吸收但自身不贡献有效信号。当缺失比例不低的时候这些“黑洞节点”会拖累整个图的表示质量。还有一些工作尝试用平均值填充、中位数填充或者用矩阵补全技术预测缺失值。这些方法比零填充好一些但依然是“静态补全”——它们是一次性算好属性然后固定住后续模型训练时补全结果不会再更新。静态补全的问题是补全目标没有和下游任务对齐。你想让补全结果帮助节点分类但矩阵补全的目标函数是低秩重建误差这两者并不直接等价。很多时候你花大力气做出来的补全结果从重建误差角度看很好但扔进分类器之后效果提升几乎看不出来。2.2 HGNN-AC的核心逻辑让图结构替属性说话HGNN-AC针对上述问题提出了一个很关键的观察属性缺失不等于信息缺失。节点即使属性全是空的它在图里依然有自己的位置依然连着一批邻居节点。它连了谁、和谁在一个社区里、通过哪些路径能和哪些节点相遇这些都是真实可靠的结构信息。属性信息只是表征节点的一种信号不是唯一信号。所以HGNN-AC的思路是用节点在异构图里的拓扑信息来“引导”属性补全而补全的目标函数则和下游任务联合优化使补全结果跟着任务走。具体做法上论文设计了一个双模块框架。第一个模块是属性补全网络Attribute Completion Network负责利用目标节点的拓扑邻居和自身部分已知属性预测缺失的属性维度第二个模块是下游的异构图编码器把补全后的属性矩阵放到一个异构图GNN里做节点表示学习。两个模块不是各自独立训练而是端到端一起优化。这个设计有个独特的好处如果有部分节点属性根本没有已知值补全网络依然可以通过它们的拓扑邻居生成合理的属性表示从而让这些节点在下游任务中也有参与能力。我自己的理解是这本质上是把属性补全从数据预处理环节改造成了一个受任务监督的表示增强模块。这类做法的优势可以归纳为三点补全过程是参数化的每个节点的缺失属性都会根据它的拓扑上下文动态生成而不是套一个全局统计值补全目标是和下游任务联动的任务损失会回传到补全网络补全器学到的不是“统计上合理的属性”而是“对当前任务有用的属性”补全器不区分节点类型整套机制可以统一适用到异构图的全部节点上不需要针对每种类型单独做规则。3. 技术细节拆解双模块框架与属性补全网络的实现3.1 节点属性掩码与缺失率模拟要训练一个补全网络第一步就得有“缺失数据”的样本。但真实数据集往往不会标注哪些属性是缺失的——很多公开数据集的预处理版本已经做了填充你需要自己去制造缺失。HGNN-AC的实验设置里有一个很实用的方案从完整的属性矩阵中按一定比例随机mask掉一部分维度的值然后让补全网络去预测这些被mask的值。这个方案我看过不少复现大家基本都沿用。两个关键的设置参数是mask比例论文里通常从10%到90%都做过覆盖轻度缺失到极端缺失mask粒度可以按节点随机mask整行也可以按维度随机mask部分值。我个人建议按维度mask模拟真实场景中“某几个特征老采集不到”的情况。论文在模拟缺失时还会刻意避免把所有度为零的节点全mask掉以留一定数量做下游任务的学习。如果你在复现时发现模型不收敛先检查掩码是不是随机数种子固定了——我在第一版复现时就是吃了这个亏掩码每次随机生成但没固定种子导致补全网络永远在追一个非平稳的目标。3.2 属性补全网络的结构设计补全网络的设计是这篇论文最值得细看的地方。它由两部分组成拓扑邻居选择模块和属性生成模块。拓扑邻居选择模块负责为目标节点挑选结构上最相关、信息量最丰富的邻居集合。这里也不是随便选一跳邻居就完事而是利用了元路径meta-path或者基于随机游走的结构采样策略。为什么不能只用一跳邻居因为异构图上的一跳邻居类型混杂信息不一定直接可用。举个例子在学术网络中一篇论文的一跳邻居里有作者、有会议、有引用关系这些邻居提供的信号差异巨大直接聚合会互相干扰。通过元路径定义多跳语义关系论文-作者-论文论文-会议-论文能将复杂的异构关系提炼为有效的语义邻居。论文在这部分借鉴了HAN中的元路径思想但和HAN本质不同HAN是拿元路径邻居做分类消息传递HGNN-AC是拿元路径邻居做属性预测。属性生成模块拿到邻居集合后对邻居的已知属性做一种“注意力式”的聚合得到邻居上下文向量再和节点自身已知属性拼接送入一个多层感知机MLP生成缺失部分的预测值。论文里用一个门控机制来决定邻居上下文和自身已知属性各自的影响权重。我复现下来这个门控是有效的尤其在缺失比例很高的时候门控能自动把权重偏向邻居信息。如果你去掉门控直接拼接在90%缺失率下分类准确率会掉大约3~5个百分点。补全网络输出的缺失属性预测值会填回属性矩阵的对应位置形成一个“补全后的完整属性矩阵”然后作为下游异构图编码器的输入。3.3 异构图编码器与任务预测头补全后的属性矩阵喂给一个异构图编码器这个编码器可以用现成的异构图GNN实现。论文里选择了基于注意力机制的异构图编码器对不同类型的节点先做类型相关的线性变换然后在元路径邻居上做注意力聚合。这个编码器本身不是HGNN-AC的贡献点它更像是一个“可插拔”的任务模块。换句话说HGNN-AC的属性补全机制可以接在很多不同的异构图编码器前面不依赖某个特定模型。这种模块化设计对落地很友好你可以保留项目里已经在用的编码器只把数据预处理换成本文这套补全机制。损失函数有三项第一项是下游任务的监督损失比如节点分类的交叉熵第二项是补全重建损失计算被mask掉的属性维度的预测值和真实值之间的距离让补全网络真正学到“为缺失值生成合理内容”的能力第三项是图结构的平滑正则项约束具有高阶邻近关系的节点补全后的属性在空间中不要太远。第三项在论文里是一个点睛设计它让补全结果不只是矩阵分解意义上的数值合理而是从图视角来看也自洽。这三项损失加权相加端到端训练整个模型。提示论文里把三类损失加起来一起优化但训练时要注意三个损失的权重平衡。任务损失如果太小补全网络会过度拟合重建生成很“光滑”的属性分布但无助于下游分类重建损失如果太小补全网络容易直接忽略mask掉的特征只靠邻居信息撑下游任务。我实践中一般先把重建损失权重调大一点等补全准确率上来之后再提高任务损失权重。4. 实验设计与效果验证这份工作做对了什么4.1 跨数据集的验证设置论文的实验覆盖了大量公开数据集和多个任务类型。我记得比较清楚的有学术网络例如DBLP、社交网络例如IMDB、以及一些传统属性图数据集例如Cora、Citeseer、Pubmed。任务类型上以节点分类为主研究者会在这类任务上系统评测不同属性缺失比例下的表现会不会发生断崖式贬值。实际上论文最关键的一张图就是“缺失比例提升时模型性能的衰减曲线”。这条曲线在行业内已经成了评测属性鲁棒性的一个默认参考标准。不同数据集上的异构类型和属性语义差异很大学术网络里属性是论文关键词和作者研究兴趣社交网络里属性是电影导演演员和用户浏览行为。覆盖多个数据集且缺失比例跨度这么大让结论具备较好的推广性。对比基准选了常见的异构图模型比如RGCNHANHGT以及传统的GCNGAT。为了公平论文还会对基线补0保证大家输入的信息量一致。4.2 核心实验结论高频信号比低频信号更能抵抗缺失看论文实验结果时有几个结论让我印象很深第一HGNN-AC在低缺失率比如10%下和传统模型拉不开太大差距这很正常毕竟属性还算完整补全网络能提供的增益有限。但随着缺失率上升到50%甚至90%传统模型性能断崖式下跌HGNN-AC的下降曲线就平缓得多。在90%缺失率下某些数据集上的性能差距达到惊人的两位数百分点。这个结论对实际工程有很直接的参考如果你的业务属性稀疏度已经很高那补全机制的必要性就非常迫切。第二异构图里不同元路径的邻居信息对属性补全的贡献不同。论文通过消融实验展示了去掉某一条关键元路径之后补全效果明显下降而在这个场景中贡献最大的元路径一定是在属性分布上同质性最强的那个路径。这个发现说明一个道理不要盲目堆元路径应该先分析任务和数据找出哪些关系类型最“像”即两端节点属性分布更接近再用这些关系做补全。第三补全网络和编码器联合优化的效果优于两阶段训练。这是我特别想强调的因为它打破了很多人的直觉。补全模型很强、编码器也很强但分开各训各的最终效果反而不如一起训。原因在于补全网络如果不知道下游任务要什么它只会生成“输入分布上合理的属性”但这个合理对分类未必有用。联合训练时任务梯度会反向影响补全网络内部参数等于补全器在学着为任务服务。读到这里的时候我自己的体会是——这不只是异构图的问题它其实是深度学习中“表示学习和任务学习到底该不该联合”这个经典问题的又一个例证。5. 从头复现HGNN-AC核心步骤与避坑实录5.1 环境与数据准备我复现项目时用了PyTorch和PyGPyTorch Geometric。DGL也可以但PyG在实现自定义注意力层时约束更少我自己更习惯。数据准备阶段的重点是把异构图转成模型可操作的格式。个人推荐在建图之前把节点的属性矩阵按节点类型划分好方便后续做掩码。用学术网络数据为例你需要三样东西节点类型的列表论文、作者、会议、术语等、每条边的关系三元组头节点、关系、尾节点、每个节点的原始属性向量。如果你的数据集属性是稀疏的建议先做一次预处理归一化因为后面掩码比例的设定是依据属性值是否为0来模拟缺失的如果原始数据本身就大量为0你没法区分哪些是“真缺失”哪些是“本来就没这个属性”。5.2 模型搭建的三个关键层属性补全网络的核心代码并不复杂我来给出我实测可用的关键代码结构。这里省略了工程上的batching部分保留最核心的算法逻辑。import torch import torch.nn as nn import torch.nn.functional as F class AttributeCompletion(nn.Module): def __init__(self, in_dim, hidden_dim, num_meta_paths): super().__init__() self.num_meta_paths num_meta_paths self.linear_self nn.Linear(in_dim, hidden_dim) self.linear_neighbor nn.Linear(in_dim, hidden_dim) self.linear_out nn.Linear(hidden_dim * 2, in_dim) self.gate nn.Linear(hidden_dim * 2, hidden_dim) def forward(self, x_self, x_neighbors, neighbor_mask): # x_self: 目标节点自身的部分已知属性, [N, d] # x_neighbors: 按元路径选择的邻居属性, [N, K, d] # neighbor_mask: 邻居节点自身属性是否足够可信的掩码, [N, K] h_self F.relu(self.linear_self(x_self)) h_nei F.relu(self.linear_neighbor(x_neighbors)) h_nei h_nei * neighbor_mask.unsqueeze(-1) agg_nei h_nei.mean(dim1) # 门控机制决定自己已知属性与邻居聚合的占比 gate_value torch.sigmoid(self.gate(torch.cat([h_self, agg_nei], dim-1))) h_combined gate_value * h_self (1 - gate_value) * agg_nei pred self.linear_out(h_combined) return pred这段代码里有几个地方需要重点注意。首先是neighbor_mask它代表的是邻居节点自身属性的可信度。实际应用里如果一个邻居节点自身也大量缺失属性那你把它拉进来参与目标节点的补全反而会污染预测结果。我第一版复现时没加这个mask90%缺失率下模型直接不收敛。加了这个掩码之后稳定性明显提升。这个细节论文里写得很含蓄但实际上是整个补全网络能成立的关键。其次是门控机制的实现。不要小看这个门控的作用本质上它是在调节“自我信息”和“邻居信息”的比重。当一个节点已知属性占比很低时门控值应该自动偏向邻居端当已知属性很完整时门控值应该偏向自身。如果不用门控直接平均遇到极端缺失会崩。元路径邻居的选择和属性聚合代码这里就不展开了可以用随机游走预先采样也可以基于预定义的元路径直接生成邻居集合。个人实践下来随机游走更省事预先算好每个节点的K个邻居序号存进稀疏矩阵里训练时直接查表。5.3 端到端训练策略三个损失的权重配比HGNN-AC训练时其实是三个损失一起优化的三个损失的权重配比直接影响最终效果。损失函数代码如下。loss_task F.cross_entropy(logits, labels) loss_recon F.mse_loss(pred_attr[mask], true_attr[mask]) # 图平滑正则相邻节点在编码后的表示跳跃项 loss_smooth ((z[edge_index[0]] - z[edge_index[1]]) ** 2).sum() / edge_index.size(1) # 最终损失lambda_recon 与 lambda_smooth 是根据数据集调出来的 loss loss_task lambda_recon * loss_recon lambda_smooth * loss_smooth很多复现失败的案例都是因为交叉熵损失和重建损失的数量级差异太大。如果你的loss_recon比loss_task大两个量级梯度更新基本被重建主导分类效果崩盘反过来也一样。我自己的解决方式是加一个梯度裁剪并对重建损失做数值标准化。可以预先对属性向量做一次归一化让MSE的期望值保持在和交叉熵差不多的尺度。第二个容易被忽视的点是图平滑正则的边选择。不要把所有边都拿进来算平滑损失不然模型会在训练早期就被“抹平化”变得难以区分不同类型的节点。建议只取每个节点的部分采样边来构成正则项这个边集随机采样且固定seed保证训练稳定。论文的实验结果里做了这个操作的消融对比我当时没细看后来发现去掉平滑正则在Cora上掉了约3个点。5.4 一键复跑的参数配置参考这里给一份我实测比较稳定的超参数组合可以作为初版参考。参数名推荐取值说明补全网络隐藏层维度128属性维度高于128时可适当增大异构编码器层数2层数过高会加大补全模块压力注意力头数8适合中等规模数据集随机游走采样节点数K20K太小信息不足太大会引入噪声训练轮数200早停阈值5个epoch优化器Adam学习率1e-3可配cosine decaylambda_recon0.1根据缺失比例适当上调lambda_smooth0.01不宜过大这些参数在学术网络和社交网络两个场景下都比较稳定但如果你想迁移到工业界更大规模的图数据上建议把随机游走采样节点数K继续往下调比如K8或K10。工业场景图的边动辄上亿K太大会直接把补全模块的计算量拉爆就算效果好工程上也跑不动。5.5 复现过程中踩过的三个必须避开的坑复现时我前后调了不少版本踩过的坑大部分都在之前的段落提到了一部分这里集中再总结三点。第一点是掩码的制作方式。我一开始把mask的维度跟属性矩阵维度直接绑定看起来没问题但遇到真实数据集属性有部分本来就是空值的情况这个“本来缺失”和“模拟缺失”两个来源相互叠加补全器永远不知道自己在学哪个分布效果一塌糊涂。后来我查数据才发现是这个问题。我的建议是在实验设置上先把原始空值用零填充但不参与任何损失计算然后在此基础上做掩码模拟保证补全目标函数只针对我们主动mask掉的那部分维度。第二点是邻居采样和补全模块不能解耦。很多复现版本把邻居采样当成静态预处理先跑一遍随机游走把邻居集合存下来之后训练过程完全不动这个邻居表。但在HGNN-AC的原始设定里邻居选择部分是在训练过程中迭代优化的。具体地说论文对每条元路径的邻居注意力权重是逐步调整的这就使得邻居集合的“重要性”随时间变化。如果你把邻居集合固定死实际上丢失了论文最精华的动态加权策略。我的做法是每5个epoch重新计算一次邻居注意力分布用软权重传递既保证效率又保留了动态性。第三点是异构编码器底座的兼容性。不要直接拿一个同构的GCN当底座。HGNN-AC补全的属性是给异构图编码器服务的同构GCN看不到节点类型差异也不支持元路径上的信息聚合会导致补全模块学出来的表示无用武之地。我第一次图省事用了GCN结果连50%缺失比例下都比不过办成简单的HAN零填充一度怀疑这个方法没用后来换成HGT做底座效果立刻恢复正常。6. 我能带走什么HGNN-AC的方法论价值读论文读到这一步如果只记住一个点那应该是不要天然地把属性缺失当成数据预处理问题也不要非黑即白地在“放弃有缺失节点的数据”和“盲目填0硬怼”之间做选择。HGNN-AC给出的第三条路是把补全做成网络的一部分让它跟着任务学。这种思路在作者侧是图神经网络方向的正确延伸在应用侧也是应对工业数据的实用解法。我个人在实际落地时的体会是HGNN-AC框架的最大价值是它的延展性它不止可以用在学术网络或者社交网络上。当你面对电商场景下商品属性缺失、安全风控场景下设备特征缺失、推荐场景下用户画像稀疏时你都可以把“读入属性矩阵”这一步改造成“完成补全再编码”。这种模块级别的替换成本比改造整个异构图模型的成本低得多。如果再配合上最近比较热的大模型做特征生成把文本属性缺失的重建交给大模型、把结构约束留给HGNN-AC效果还可能更强。补全不是目的补全完之后能派上什么用场才是。
