HiRes解耦残差宽度与计算宽度，Transformer扩展效率提升30%

摘要：HiRes把Transformer深层传递的残差状态宽度与每层实际计算宽度解耦：常规PreNorm层在块内维持固定计算维度，块间则通过学习型读写投影接入更宽的PostNorm外层残差。该设计不改动单层Transformer结构，也不依赖专用算子。作者报告，其拟合缩放律对应1.30倍FLOPs效率，OLMoE-1B-7B在500B Token预训练中损失降低0.0208、下游准确率提高1.14个百分点。其价值在于提供一条不依赖扩大每层计算的可扩展路径，但额外投影、激活存储与训练稳定性仍需独立评估。

---

核心思路：把“信息通道”与“计算通道”拆开

标准Transformer的残差流宽度通常等于每层隐藏维度 d。这种设计把两个本可分离的变量绑定在一起：d 越大，深层可携带的状态容量越高，但注意力和前馈网络的矩阵乘也会同步变宽，导致每层FLOPs、参数与激活占用一起上升。

HiRes（Hierarchical Residuals）不改写单个Transformer层，而是把若干层组成一个块：块内继续使用宽度为 d 的标准PreNorm层，块间则使用宽度为 D 的PostNorm外层残差，其中通常有 D > d。外层残差负责跨块传递信息，学习型读投影把 D 维状态映射到 d 维计算空间，写投影再将层输出映射回 D 维。这样，残差状态的容量可以扩大，而每层矩阵乘仍受控在 d 宽度。

从计算结构看，块内自注意力和FFN的主成本仍近似由 d 决定：

• 自注意力投影复杂度为 O(Ld² + L²d)；
• FFN在常见宽度比例下仍为 O(Ld²)；
• 额外开销集中在块边界上的 D×d 读写投影，以及更宽外层残差带来的激活和通信流量。

因此，HiRes不是免费扩容，而是用投影成本和状态存储换取更高效的深层信息传递。

分层残差如何工作

HiRes可视为两级残差机制。块内残差仍按原始PreNorm方式工作，层间残差则使用PostNorm结构，学习型投影承担两个空间之间的接口：

1. 读路径将宽外层状态压缩至块内计算宽度；
2. 块内各层在 d 维空间完成注意力与前馈计算；
3. 写路径把更新重新注入 D 维外层状态；
4. 下一块继续沿外层残差传播。

这种结构与普通的“宽MLP”或“扩大隐藏维度”不同。HiRes不要求每层都承担宽状态计算，宽容量主要服务于跨层状态传递。对深层网络而言，它可能缓解窄残差流成为信息瓶颈的问题；同时，读写投影提供了可学习的信息压缩与重分配机制。

PostNorm外层的设计也值得注意。它可能提高深层训练中的梯度稳定性，但具体效果仍取决于归一化位置、初始化、残差缩放和优化器配置，不能仅凭结构推断。

实验结果与缩放律

论文在多个模型规模与深度上比较HiRes和标准残差加法，报告HiRes持续取得更好的训练与下游表现。拟合出的缩放律给出 1.30倍FLOPs效率提升，意味着在相近计算预算下，HiRes预期可达到更好的拟合效果。

在OLMoE-1B-7B的500B Token预训练实验中，HiRes相对基线获得：

• 训练损失降低 0.0208；
• 下游准确率提高 1.14 个百分点；
• 在不同规模与深度上保持一致趋势。

HiRes还与VWN、mHC和AttnRes等残差扩展方案进行了比较，结果显示其具有竞争力，同时带来更低的激活内存和I/O成本。这项优势符合其结构设计：HiRes仅在块边界做宽窄转换，没有为每个层或每个节点引入复杂的动态路由。

不过，1.30倍是基于拟合缩放律得到的效率估计，不等同于任意硬件上的端到端吞吐提升。实际速度还受投影核融合、批大小、序列长度、并行切分和通信拓扑影响。

工程权衡：收益来自何处，代价落在哪里

HiRes的主要收益是扩大残差容量，而不必同步扩大每层的注意力与FFN计算。相较VWN、mHC或AttnRes这类更动态的残差机制，HiRes只使用稠密投影和归一化，因而更容易接入PyTorch、FlashAttention或现有分布式训练栈，无需专用CUDA kernel。

代价主要有四项：

1. 额外矩阵乘：每个块边界至少包含读、写两类 D×d 投影；当块数较多时，这些投影会累积为不可忽略的FLOPs。
2. 激活内存压力：外层 D 维状态必须跨块保存。若训练使用激活重计算，额外宽状态也可能削弱重计算带来的显存收益。
3. I/O与并行成本：跨设备放置时，宽残差状态的读写量高于普通 d 维隐藏状态；序列越长，通信与缓存压力越明显。
4. 优化敏感性：宽投影改变了参数尺度与梯度路径，读写投影的初始化、归一化和权重衰减需要重新标定，否则训练收益可能被数值不稳定抵消。

HiRes相对其他残差扩展方法的激活与I/O优势说明它更适合大规模预训练，但生产部署前仍需测量真实序列长度、并行策略与checkpoint转换带来的端到端收益。

开发者落地建议

HiRes最容易在已有Transformer训练框架中验证。实现时需要重点处理四件事：

• 先以较小块数建立基线，确认宽残差状态带来的增益不是来自额外参数或训练步数差异；
• 对读写投影使用与隐藏层一致的初始化与缩放策略，并监控投影权重范数；
• 将“每Token FLOPs”与“墙钟时间”分开评估，同时记录跨设备残差通信量；
• 对激活重计算、FlashAttention和FSDP/ZeRO分片分别做消融，避免只依据理论FLOPs判断部署收益。

如果训练资源有限，可优先在MoE模型或较深Transformer上做小规模A/B实验：固定模型宽度、Token预算和优化器，只改变残差宽度 D 与块大小。HiRes最适合需要加深网络、但暂不希望同步放大每层注意力成本的场景；对于已经有大量宽MLP或动态残差机制的系统，其边际价值需要通过同算力比较确认。

结论

HiRes把Transformer扩展中的一个长期耦合拆成了两个变量：每层计算宽度与跨深度残差宽度。它以块边界投影和分层残差换取更宽的信息通道，并用标准算子实现，因而具备较好的工程可迁移性。1.30倍FLOPs效率是有吸引力的缩放结果，但真正决定生产价值的仍是投影开销、激活内存、并行通信与训练稳定性的联合表现。

---

消息来源：Hugging Face Daily Papers (2026-10-30)

—— 完 ——

主题标签： #HiRes 关注 #Transformer架构 关注 #残差连接 关注 #缩放律 关注 #MoE预训练 关注