AttnRes按节点重配网络深度贡献，提升图模型长程推理

摘要：AttnRes 将图 Transformer 的残差流从固定单位系数累加，改造成可按节点自适应选择历史贡献的深度聚合接口。论文把图传播与前馈网络输出序列形式化为节点级因果历史，并以 Full AttnRes 和池化连续贡献的 Block AttnRes 降低路由开销。接入 GPS、GRIT 后，两种变体在 5 个 ECHO 任务上均取得低于独立调优骨干的 MAE，且 donor-swap 干预支持了“深度聚合失配”这一机制解释。

---

核心思路：图传播解决“节点之间怎么交流”，AttnRes解决“各层结果怎么融合”

AttnRes 针对的是图 Transformer 残差接口中的一个具体缺口。GPS、GRIT 等骨干可以借助全局注意力或结构感知传播增强节点间通信，但各网络深度产生的计算通常仍以固定单位系数累加：

[ \mathbf{h}^{(\ell+1)}_v = \mathbf{h}^{(\ell)}_v + \mathbf{f}^{(\ell)}_v ]

这种写法默认第 (\ell) 层对所有节点都同等重要。实际上，不同节点的局部结构、所需推理距离并不相同：浅层可能更适合聚合邻域证据，深层则可能承载远距离依赖。固定残差接口无法在中间计算产生后，根据节点状态重新判断其价值。

论文将其定义为深度聚合失配：跨节点通信能力得到改善，并不自动意味着不同深度产生的计算会被正确组合。

机制：把残差流视为节点级因果历史

AttnRes 将每个节点的残差计算形式化为由图传播贡献与前馈网络贡献组成的因果历史。历史项可抽象为：

[ \mathcal{H}_v = (\mathbf{c}^{(\ell)}v){\ell=1}^{L} ]

随后由聚合模块根据节点表示对历史项计算权重，再生成聚合结果。这使“如何合并深度”从骨干内部固定的残差规则，变为可显式设计和消融的接口。

论文实现两种变体：

• Full AttnRes：直接对完整历史进行注意力式路由，表达能力更强，但计算与存储开销随层数增加。
• Block AttnRes：先池化连续的深度贡献，再在块级历史间路由，以减少长历史中的路由成本。

关键点不是简单增加一层注意力，而是让残差接口具备节点条件化能力：同一个浅层贡献，可以对中心节点、边界节点和桥接节点赋予不同权重。

验证结果：5个ECHO任务均改善MAE

作者将 AttnRes 接入 GPS 与 GRIT，并分别与独立调优后的原始骨干及其他对比方法比较。在全部 5 个 ECHO 任务上，Full AttnRes 与 Block AttnRes 的 MAE 都低于各自骨干；每个任务中至少有一种 AttnRes 变体取得全部对比方法的最低平均 MAE。

这组结果的工程意义在于，改进不局限于某一种图传播骨干：节点自适应深度聚合可以作为一层接口能力叠加到已有架构上，而不必重写图传播和辅助状态机制。

不过，摘要未给出具体 MAE 数值、训练成本和方差，因此暂时无法判断提升幅度是否足以抵消生产环境中的额外计算，也不能确认结果在不同随机种子、模型规模及图规模下是否稳定。

Donor-swap 与消融：检验收益是否来自真正的路由机制

论文进一步采用 routing-only donor-swap 干预，将某节点原本贡献的历史项替换为其他节点的贡献，同时尽量保持被路由计算的数量与整体统计不变。如果节点适配确实依赖结构上下文，那么替换来源节点后，预测质量应出现针对性下降。

该实验与附加消融共同用于验证：收益并非简单来自更多参数、训练技巧或历史信息数量，而与按节点选择深度贡献有关。

工程权衡：精度收益要对照路由开销

Full AttnRes 的主要代价可以粗略拆为两部分。若历史长度为 (L)，节点数为 (N)，朴素全历史两两注意力在序列维度上的复杂度接近 (O(NL^2d))，其中 (d) 是隐藏维度；若保留全部历史表示，还会增加与 (NLd) 成比例的激活内存。

Block AttnRes 通过连续贡献池化缩短有效历史，但可能损失层间细粒度信息。其实际收益取决于图任务所需的推理深度：ECHO 类长程任务或许能从跨深度选择中受益，而短程图任务或浅层网络则未必值得承担额外路由开销。

部署前还应测量：

1. 训练显存和推理延迟是否随层数线性或更快增长；
2. 动态路由是否引入不规则访存、算子碎片化或难以利用的批量并行；
3. 注意力权重能否稳定跨训练轮次与图分布变化；
4. 在动态图、异质图和超长图上，邻居传播成本是否掩盖 AttnRes 的收益。

开发者落地建议

AttnRes 更适合作为骨干兼容型实验模块接入已有 Graph Transformer，而不是直接替换图传播层。推荐先在 GPS 和 GRIT 的预训练检查点上增加轻量版本，保留原始残差路径作为可选回退，并对节点类型、图规模和目标 MAE 做分层评估。

如果资源有限，优先测试 Block AttnRes：它以池化换取更低路由成本。只有当池化造成明显的信息损失时，再考虑 Full AttnRes。上线门槛不应只看平均 MAE，还应同时记录推理延迟、峰值显存、吞吐以及跨图规模退化曲线。

结论

AttnRes 的贡献是把图 Transformer 中一个长期被默认的细节——残差层如何合并——变成节点自适应的显式接口。论文结果显示，该接口能在 GPS、GRIT 和 5 个 ECHO 长程任务上稳定改善误差，且机制干预支持其解释。不过，当前证据主要来自论文规模实验，真实生产收益仍需在更大图规模、动态图环境与严格成本基准下独立复现。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-09)

—— 完 ——

主题标签： #图Transformer 关注 #AttnRes 关注 #长程图推理 关注 #残差聚合 关注 #ECHO 关注