arXiv研究揭示微调对大语言模型内部表征与因果重要性的解耦影响

摘要：本研究深入探讨了微调如何改变大语言模型（LLMs）的内部机制，包括注意力模式和逐层激活，并分析了这些变化与任务相关组件（如注意力头和logit级激活）之间的关系。研究发现，任务相关组件在特定层中集中分布，表明模型在内部化任务特定行为时存在功能局部化现象。此外，微调过程中表征变化最大的层与任务相关组件的分布无显著相关性，且不同任务间组件的重叠并不一定带来跨任务性能迁移，甚至可能导致性能下降。这一发现为理解大语言模型的内部工作机制提供了新的视角，并为未来模型优化提供了理论依据。

---

研究背景与动机

微调（Fine-tuning）已成为将大语言模型（LLMs）应用于各种下游任务的主要方法。然而，微调如何改变模型的内部机制仍然是一个未被充分理解的问题。本研究旨在通过分析微调对LLMs内部表征的影响，揭示其对任务性能的作用机制。

主要发现

1. 任务相关组件的分布：研究发现，任务相关组件（如注意力头和logit级激活）在特定层中集中分布，表明模型在内部化任务特定行为时存在功能局部化现象。
2. 表征变化与任务组件的解耦：微调过程中表征变化最大的层与任务相关组件的分布无显著相关性。这意味着，模型的内部表征变化并不直接对应于任务性能的提升。
3. 跨任务性能迁移的局限性：不同任务间组件的重叠并不一定带来跨任务性能迁移，甚至可能导致性能下降。例如，在分类任务上微调可能损害生成任务的性能，反之亦然。

技术亮点

• EAP方法的应用：研究采用了EAP（Explicit Attention Path）方法，识别出对任务性能至关重要的模型组件。
• 功能局部化现象的发现：首次揭示了模型在内部化任务特定行为时存在功能局部化现象，为理解LLMs的内部工作机制提供了新的视角。
• 跨任务性能迁移的局限性：研究表明，跨任务性能迁移并非普遍存在，需要根据具体任务类型进行评估。

行业影响与开发者建议

• 模型优化方向：开发者应关注微调过程中模型内部表征的变化，并结合任务需求进行针对性优化。
• 跨任务迁移的谨慎性：在将模型应用于不同任务时，应谨慎评估其性能，避免因微调导致的性能下降。
• 进一步研究方向：未来研究可探索如何通过更精细的微调策略，实现更高效的跨任务性能迁移。

结论

本研究通过深入分析微调对LLMs内部表征的影响，揭示了其对任务性能的作用机制，为理解大语言模型的内部工作机制提供了新的视角，并为未来模型优化提供了理论依据。

---

消息来源：ArXiv AI (cs.AI) (2026-09-22)

—— 完 ——

主题标签： #大语言模型 关注 #微调 关注 #内部表征 关注 #EAP方法 关注 #功能局部化 关注