智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #激活引导 #微调 #语言模型 #对齐性 #行为稳定性

研究揭示:微调对语言模型激活引导的稳定性影响

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本研究探讨了激活引导(Activation Steering)在微调后的语言模型中的稳定性。激活引导是一种将行为调整直接嵌入模型权重的方法,无需推理时干预即可塑造模型行为。研究发现,在非对抗性监督微调(SFT)和强化学习(RLHF)下,激活引导的行为效果与训练数据密切相关:当优化压力与目标行为一致时,激活引导的效果得以保留;否则,行为会显著下降,例如拒绝抑制在SFT下平均损失64%的效果。然而,从机制上看,即使行为发生变化,权重编辑几乎未受影响,平均向量恢复度仅为0.004,微调更新与预编辑权重模式近乎正交(平均cosθ = 0.074)。这表明激活引导在机制上具有持久性,但在功能上容易受到下游训练的影响,需要在微调后重新验证其行为表现。


研究背景与动机

激活引导(Activation Steering)是一种将行为调整直接嵌入语言模型权重的方法,旨在无需推理时干预即可塑造模型行为。这种方法在模型发布前编码对齐性方面具有潜力。然而,随着模型在部署后通常会进行微调,尚不清楚嵌入的干预措施能否在微调后存活下来。

主要发现

  1. 行为层面的稳定性

    • 激活引导的行为效果与训练数据密切相关。当优化压力与目标行为一致时,激活引导的效果得以保留;否则,行为会显著下降。例如,拒绝抑制在SFT下平均损失64%的效果。
  2. 机制层面的持久性

    • 即使行为发生变化,权重编辑几乎未受影响。平均向量恢复度仅为0.004,微调更新与预编辑权重模式近乎正交(平均cosθ = 0.074)。这表明激活引导在机制上具有持久性。
  3. 功能层面的脆弱性

    • 激活引导在功能上容易受到下游训练的影响。当行为退化时,微调并不是通过拆除或逆转激活引导机制本身来实现的。因此,激活引导需要在下行训练后重新验证其行为表现。

技术亮点

  • 多模型验证:研究在五个指令微调模型(3B-14B)上进行了验证,确保了结果的普适性。
  • 非对抗性训练环境:实验在非对抗性SFT和RLHF环境下进行,模拟了实际应用中的常见场景。
  • 行为与机制的分离分析:通过行为和机制两个层面分别分析激活引导的稳定性,提供了更全面的理解。

行业影响与开发者建议

  • 模型验证的重要性:微调后的模型需要重新验证激活引导的行为效果,以确保其符合预期。
  • 对齐性编码的挑战:在模型微调过程中,如何保持对齐性是一个重要的研究课题。未来的研究可以探索更鲁棒的对齐性编码方法。
  • 应用场景的扩展:激活引导在特定领域(如安全AI、伦理AI)中的应用前景广阔,但需要进一步的研究和验证。

结论

激活引导在机制上具有持久性,但在功能上容易受到下游训练的影响。研究结果强调了在微调后重新验证激活引导行为效果的重要性,为AI模型的对齐性研究提供了新的视角。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-27)

—— 完 ——

主题标签: #激活引导 #微调 #语言模型 #对齐性 #行为稳定性

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…