arXiv提出基于低秩瓶颈自编码器的无注意力语言模型架构

摘要：arXiv发布了一项关于Transformer语言模型的新研究，提出了一种基于低秩瓶颈自编码器的无注意力架构，替代了传统的注意力机制。该方法通过堆叠局部、全局及跨注意力头的自编码器混合模块，在保持性能的同时显著降低了计算复杂度（FLOPs减少约1.9倍）。此外，研究引入了迭代精炼机制，通过拉动和校正步骤进一步优化嵌入表示。实验结果表明，该模型在稀有词频率桶上与BERT和TinyBERT基线性能相当，展示了其在计算效率上的优势。

---

研究背景与动机

在Transformer架构中，注意力机制是上下文混合的主要手段，但其计算复杂度较高，限制了模型在长序列或资源受限环境中的应用潜力。为了解决这一问题，研究人员探索了多种无注意力混合器，但这些方法通常依赖于固定或超网络生成的MLPs，牺牲了动态内容依赖性以换取计算效率。

主要创新点

1. 低秩瓶颈自编码器替代注意力机制：研究提出了一种基于低秩瓶颈自编码器的架构，通过堆叠局部、全局及跨注意力头的混合模块，实现了与注意力机制相似的上下文混合能力。
2. 迭代精炼机制：在掩码位置，研究引入了迭代精炼过程，包括拉动步骤（将嵌入表示拉向其邻居的加权平均）和校正步骤（通过自编码器将结果投影回学习到的流形）。
3. 性能与效率的平衡：该模型在C4数据集上预训练，并在参数匹配的BERT基线上进行评估，结果显示在FLOPs减少约1.9倍的情况下，模型性能与BERT相当。

技术亮点

• 自编码器混合模块设计：通过局部、全局及跨注意力头的自编码器混合模块，实现了高效的上下文混合。
• 迭代精炼机制：通过拉动和校正步骤，进一步优化了嵌入表示，提升了模型性能。
• 频率感知训练策略：采用频率感知训练策略，对稀有词进行更频繁的采样，提升了模型在稀有词处理上的表现。

行业影响与开发者建议

这项研究为Transformer语言模型的效率优化提供了新的思路，尤其在资源受限或对计算成本敏感的应用场景中具有重要意义。开发者可以尝试将该架构应用于长文本处理、实时对话系统等场景，以提升模型效率。此外，迭代精炼机制也为其他需要精细化嵌入优化的任务提供了参考。

未来研究方向

未来研究可以进一步探索自编码器混合模块在不同任务和数据集上的表现，并尝试将迭代精炼机制扩展到其他类型的模型中。此外，如何在保持高效性的同时，进一步提升模型在复杂任务上的表现，也是一个值得探索的方向。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-28)

—— 完 ——

主题标签： #arXiv #无注意力机制 #自编码器 #Transformer #语言模型