智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #ArXiv #LLM #推理效率 #Reflection Steering

ArXiv提出Reflection Steering框架:提升大语言模型推理效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为Reflection Steering的新框架,旨在通过分离大语言模型(LLM)中的反思激活与一般推理过程,提升推理效率。该方法通过对比各层LLM的反思与非反思隐藏状态,使用主成分分析(PCA)去噪并正交化方向,从而减少推理token的使用量。实验结果表明,Reflection Steering在六个匹配设置中平均减少了16.9%的推理token,同时引入了可调节的干预强度参数α,以平衡token节省、准确性和生成稳定性。


背景与动机

大型推理模型在处理复杂任务时通常会产生包含验证、修订和回溯的推理轨迹。当反思仅用于重新检查已确定的结果时,会浪费推理token并增加延迟。现有的反思引导方法通常在多个Transformer层之间添加基于标签的均值差异方向,但这种做法容易与推理和长度信号纠缠,导致准确性与效率之间的权衡不稳定。

方法

ArXiv团队提出了一种名为Reflection Steering的无训练框架,通过以下步骤实现对LLM中反思相关计算的控制:

  1. 对比隐藏状态:在LLM的每一层中对比反思与非反思的隐藏状态。
  2. 去噪与正交化:使用主成分分析(PCA)对结果进行去噪,并将反思方向正交化以避免与一般推理方向的重叠。
  3. 层间校准与稳定化:通过在多个干预强度下对少量数据进行层间校准,仅保留稳定的层,并对其残差流激活应用有界投影去除。

实验与结果

研究团队在两个公共基准测试和三个开放权重的LLM上进行了广泛的实验,并与现有的最先进激活引导基线进行了对比。结果表明,Reflection Steering在六个匹配设置中平均减少了16.9%的推理token。此外,该方法引入的可调节干预强度参数α,使得在部署时能够根据具体需求调整token节省、准确性和生成稳定性之间的平衡。

技术亮点

  • 无训练框架:无需额外训练即可实现对反思相关计算的精细控制。
  • PCA去噪与正交化:通过PCA去噪和正交化方向,提升了方法的稳定性和效率。
  • 可调节干预强度:引入了干预强度参数α,使得模型在推理过程中能够灵活调整以适应不同需求。

行业影响与开发者建议

Reflection Steering框架为LLM的推理效率提升提供了新的思路,尤其适用于对延迟和token使用量敏感的应用场景。开发者可以尝试将该方法集成到现有的LLM推理管道中,以优化模型性能。此外,该方法的可调节性使其能够适应不同的应用需求,为AI系统的部署提供了更大的灵活性。


消息来源:ArXiv cs.LG (2026-08-26)

—— 完 ——

主题标签: #ArXiv #LLM #推理效率 #Reflection Steering

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…