arXiv发布线性时间Transformer新方法：基于泰勒级数展开与固定状态递归机制

摘要：arXiv发布了一种基于泰勒级数展开的线性时间Transformer架构，通过将注意力机制的指数核展开为多项式项，并将其分解为张量积内积，从而将因果历史压缩为固定数量的递归状态。这种方法在保持精度的情况下，显著降低了计算复杂度，尤其在长序列任务中表现优异。实验结果表明，该方法在处理8192长度序列时，状态更新速度比传统Softmax快20.8倍，解码延迟降低76倍，同时保持了高精度。

---

技术机制剖析

该研究提出了一种基于泰勒级数展开的线性时间Transformer架构，其核心思想是将注意力机制的指数核展开为多项式项，并将其分解为张量积内积。具体来说，通过将因果历史压缩为固定数量的递归状态（n个状态），每个状态通过一个秩为1的外积进行更新，且与上下文长度N无关。这种方法具有以下特点：

1. 递归无损性：递归过程对截断核是无损的，精度损失仅为 $2.2 \times 10^{-16}$（在float64下）。
2. 状态可加性：状态在多个块之间是可加的，精度损失为 $5.7 \times 10^{-14}$，这使得预填充操作可以并行化。
3. 性能提升：在长序列任务中，状态更新速度与序列长度呈 $N^{0.91}$ 关系，而传统Softmax则为 $N^{2.28}$。在 $N = 8192$ 时，状态更新速度比Softmax快20.8倍。
4. 解码延迟：每token的解码延迟恒定为 $7.3\mu$s，而Softmax的延迟与序列长度呈 $N^{1.04}$ 关系，在 $N = 65536$ 时，解码速度提升76倍。

工程权衡与实测表现

尽管该方法在长序列任务中表现出色，但也存在一些权衡：

• 精度与成本：精度随n的增加呈指数级提升，但成本呈组合增长，因为第m个状态宽度为 $\binom{d+m-1}{m}$。通过SVD验证了这一边界，因此最优选择是二阶展开（n=3），此时误差为 $6.5 \times 10^{-4}$，每个头包含9945个元素。
• 归一化要求：查询和键的归一化是必要的，否则泰勒级数展开将超出收敛半径，导致添加更多项也无济于事。

开发者落地与部署建议

1. 适用场景：该方法特别适用于需要处理长序列的任务，如长文档翻译、语音识别和视频处理等。
2. 优化建议：建议在资源受限的环境中优先考虑二阶展开（n=3），以在精度和计算成本之间取得平衡。
3. 未来方向：未来可以进一步研究如何动态调整递归状态的数量，以适应不同的任务需求和资源限制。

结论

这项研究为Transformer架构的线性时间实现提供了一种新的思路，尤其在长序列任务中展现出巨大的潜力。通过泰勒级数展开和固定状态递归机制，该方法在保持高精度的同时，显著降低了计算复杂度，为AI模型的进一步发展提供了新的技术基础。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-16)

—— 完 ——

主题标签： #Transformer 关注 #泰勒级数 关注 #线性时间 关注 #长序列处理 关注 #arXiv 关注