ArXiv提出低秩Householder扩展方法：无需输入梯度实现对抗训练

摘要：ArXiv发布了一种名为低秩Householder扩展（LRHE）的新方法，用于无需输入梯度的对抗训练。该方法通过线性化计算对抗样本，并基于前向传播中的激活模式生成对抗方向，从而消除了对输入梯度的依赖。实验结果表明，该方法在MNIST数据集上仅需2.8个PGD步骤的计算成本，即可达到与40步对抗训练相近的性能，显著提升了训练效率并降低了计算开销。这一创新为对抗训练提供了更高效的解决方案，尤其适用于资源受限的应用场景。

---

核心突破

ArXiv的研究团队提出了一种名为低秩Householder扩展（LRHE）的新方法，用于无需输入梯度的对抗训练。该方法的核心思想是通过线性化计算对抗样本，并利用前向传播中的激活模式生成对抗方向，从而避免了传统对抗训练中对输入梯度的依赖。以下是主要技术亮点：

• 线性化对抗样本计算：通过低秩Householder扩展，将对抗样本的计算简化为线性化过程，无需进行复杂的输入梯度迭代。
• 基于激活模式的对抗方向生成：利用前向传播中已存在的激活模式，生成对抗方向，进一步简化了计算过程。
• 消除输入梯度依赖：整个训练过程无需对输入进行微分，仅需额外的正向评估即可完成对抗训练。

实验结果

在MNIST数据集上的实验表明，LRHE方法在相对$\ell^2$预算$\varepsilon \le 0.02$时，与3步PGD对抗训练效果相当；在$\varepsilon \le 0.012$时，与40步PGD训练效果相近。训练成本仅为每个epoch 2.8个PGD步骤，相较于40步对抗训练，计算成本降低了8.7倍。

行业影响

LRHE方法的提出为对抗训练提供了一种更高效的解决方案，尤其适用于计算资源有限的应用场景。其无需输入梯度的特性，使得对抗训练在边缘设备或资源受限的环境中成为可能。此外，该方法也为对抗训练的理论研究提供了新的思路，未来有望在更多领域得到应用。

开发者建议

• 资源受限场景应用：对于计算资源有限的应用场景，可以考虑采用LRHE方法进行对抗训练，以降低计算成本。
• 模型优化：结合LRHE方法与其他模型优化技术，可以进一步提升模型的鲁棒性和泛化能力。
• 持续关注：建议持续关注该领域的后续研究进展，以便及时采用更先进的技术方案。

---

消息来源：ArXiv cs.LG (2026-08-27)

—— 完 ——

主题标签： #对抗训练 关注 #低秩Householder扩展 关注 #ArXiv 关注 #深度学习 关注 #计算效率 关注