arXiv提出梯度合并方法，提升大语言模型对提示的鲁棒性

摘要：arXiv发布的研究提出两种新的梯度合并方法——Prompt-TIES和Prompt-DARE，旨在解决大语言模型在训练过程中对提示的敏感性。通过分析训练过程中不同提示的梯度干扰问题，研究团队开发了基于模型和梯度合并的干扰解决算子，并将其应用于提示梯度，从而显著提升了模型的鲁棒性。实验表明，这些方法在保持整体准确性的同时，将每个样本的方差几乎减半，对模型在复杂任务中的表现有显著提升。

---

研究背景与动机

大语言模型（LLMs）在自然语言处理任务中表现出色，但其性能高度依赖于提示（prompt）的具体表述方式。现有的解决方案主要依赖于推理时的手动提示优化，这不仅耗时且难以规模化。因此，研究人员将目光转向训练时的鲁棒性增强方法，通过在指令微调阶段构建对提示的鲁棒性来解决问题。

方法与创新

本研究提出两种新的梯度合并方法：

1. Prompt-TIES：利用模型合并中的干扰解决算子来处理提示梯度中的干扰问题。
2. Prompt-DARE：通过梯度合并中的干扰解决算子来优化提示梯度。

这两种方法的核心思想是解决训练过程中不同提示的梯度之间的符号冲突问题。研究发现，57%的梯度存在符号冲突，而传统的梯度平均方法会丢弃约五分之一的梯度幅度。

实验与结果

研究在四个模型（来自两个不同家族）上进行评估，结果表明：

• 局部鲁棒性提升：梯度合并方法直接改善了模型的局部鲁棒性，在ANLI和WiC等任务中表现尤为突出。
• 样本方差减少：在完全微调的模型上，这些方法将每个样本的方差几乎减半，同时对整体准确性影响甚微。
• 对比其他方法：相比数据构建、一致性正则化和对比对齐等训练时鲁棒性方法，梯度合并方法在提升样本方差方面表现更优。

工程权衡与局限性

• 计算开销：尽管梯度合并方法在训练过程中引入了额外的计算开销，但实验表明，这种开销在可接受范围内。
• 适用性：该方法对不同规模和不同任务的模型均表现出良好的适应性，但在大规模模型上的表现仍需进一步验证。

结论与未来方向

Prompt-TIES和Prompt-DARE为提升大语言模型对提示的鲁棒性提供了新的思路。未来研究可以进一步探索这些方法在不同模型架构和任务上的适用性，并优化其计算效率。

开发者建议

对于希望提升模型鲁棒性的开发者，可以尝试在训练过程中集成Prompt-TIES或Prompt-DARE方法，特别是在处理复杂或多样化的提示时。这些方法的开源代码和模型检查点已在GitHub和Hugging Face上发布，便于快速集成和测试。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-30)

—— 完 ——

主题标签： #大语言模型 关注 #梯度合并 关注 #提示鲁棒性 关注 #训练优化 关注