1. 图卷积网络GCN的核心思想第一次接触图卷积网络(GCN)时最让我困惑的是如何在结构不规则的图上做卷积传统CNN处理的是规整的网格数据而图中的每个节点可能有任意数量的邻居。这就像要在形状各异的拼图上做统一操作确实需要一些巧思。Thomas Kipf提出的GCN方案很巧妙用邻接矩阵度矩阵的组合来描述图结构。具体来说通过给邻接矩阵A加上自环(变成A~)再配合度矩阵D的归一化处理就能得到一个既保留图结构信息又适合矩阵运算的形式。这种处理方式让我想起图像处理中的高斯滤波——都是通过规范化操作来保证处理的稳定性。公式(1)中的D~^-1/2 A~ D~^-1/2这个三明治结构特别值得玩味。它实际上做了两件事通过A~引入邻居信息包括节点自身通过D~的平方根倒数进行归一化防止度数大的节点主导整个网络2. 从数学公式到代码的完整映射2.1 邻接矩阵的预处理实现在DGL中实现公式(1)时最关键的步骤就是计算归一化系数。来看具体代码degs g.out_degrees().float() norm torch.pow(degs, -0.5) # D^-1/2 norm[torch.isinf(norm)] 0 # 处理度为0的节点 g.ndata[norm] norm.unsqueeze(1) # 保存到节点数据中这段代码对应的是公式中的D~^-1/2计算。我曾在实验中忽略了对inf值的处理结果导致梯度爆炸。记住永远要处理边界条件特别是图数据中常见的孤立节点。2.2 消息传递的代码表达GCN的核心操作可以用消息传递聚合来理解。在DGL中这通过update_all函数优雅地实现g.ndata[h] g.ndata[norm] * h # 预处理特征 g.update_all( message_funcfn.copy_u(h, m), # 消息函数复制特征 reduce_funcfn.sum(m, h) # 聚合函数求和 ) h g.ndata[h] * g.ndata[norm] # 后处理这里fn.copy_u对应消息传递fn.sum对应邻居聚合。第一次实现时我误用了mean而不是sum结果模型完全无法收敛。关键点公式(1)中的归一化已经通过D~处理聚合时应该用sum保持数学等价性。3. 完整GCN层的实现技巧3.1 权重初始化的讲究在GCNLayer的实现中权重初始化很关键def reset_parameters(self): nn.init.xavier_uniform_(self.weight) # Xavier初始化为什么用Xavier初始化因为GCN中的特征变换(HW)需要保持输入输出的方差一致。我曾对比过几种初始化方式全零初始化导致梯度消失普通正态分布深层网络容易出现梯度爆炸Xavier初始化训练最稳定3.2 偏置项的处理艺术偏置项看似简单但有个细节容易忽略if self.bias is not None: h h self.bias # 在归一化之后再加偏置重要细节偏置要在归一化之后添加。如果先加偏置再做归一化会导致不同节点的偏置影响力不一致。这个顺序问题曾让我调试了整整一天4. 构建完整GCN模型4.1 两层的经典结构基于单层实现构建完整模型就水到渠成了class GCNModel(nn.Module): def __init__(self, in_feats, h_feats, num_classes): super().__init__() self.conv1 GCNLayer(in_feats, h_feats) self.conv2 GCNLayer(h_feats, num_classes) def forward(self, g, features): h F.relu(self.conv1(g, features)) # 第一层带ReLU h self.conv2(g, h) # 第二层无激活 return h几点经验分享中间层使用ReLU激活能显著提升非线性表达能力输出层通常不加激活函数特别是分类任务配合CrossEntropyLoss时hidden_size一般设为2的幂次方(如32/64)能更好利用GPU并行性4.2 训练中的实用技巧在Cora数据集上的训练有几个注意事项optimizer torch.optim.Adam(model.parameters(), lr0.01, weight_decay5e-4) def train(): model.train() optimizer.zero_grad() out model(g, features) loss F.cross_entropy(out[train_mask], labels[train_mask]) loss.backward() optimizer.step()踩坑记录weight_decay设为5e-4效果最好太大容易欠拟合太小会过拟合一定要用train_mask控制训练范围否则会数据泄露batch训练在全图数据上不是必须的但大图可以考虑邻居采样5. 效果分析与调优思路在Cora数据集上我的实现能达到约81%的测试准确率与论文结果相当。观察训练曲线发现前50个epoch快速上升50-100epoch缓慢提升100epoch后基本收敛如果出现欠拟合可以尝试增加hidden_size(如从32到64)增加层数(3层GCN)减小weight_decay如果出现过拟合可以增加dropout层增大weight_decay使用early stopping一个有趣的发现在GCN中加入残差连接反而会降低性能这与CNN中的经验相反。这可能是因为图数据本身的关系建模已经足够强大。