ArXiv提出Reflection Steering框架:提升大语言模型推理效率
摘要:ArXiv团队提出了一种名为Reflection Steering的新框架,旨在通过分离大语言模型(LLM)中的反思激活与一般推理过程,提升推理效率。该方法通过对比各层LLM的反思与非反思隐藏状态,使用主成分分析(PCA)去噪并正交化方向,从而减少推理token的使用量。实验结果表明,Reflection Steering在六个匹配设置中平均减少了16.9%的推理token,同时引入了可调节的干预强度参数α,以平衡token节省、准确性和生成稳定性。
背景与动机
大型推理模型在处理复杂任务时通常会产生包含验证、修订和回溯的推理轨迹。当反思仅用于重新检查已确定的结果时,会浪费推理token并增加延迟。现有的反思引导方法通常在多个Transformer层之间添加基于标签的均值差异方向,但这种做法容易与推理和长度信号纠缠,导致准确性与效率之间的权衡不稳定。
方法
ArXiv团队提出了一种名为Reflection Steering的无训练框架,通过以下步骤实现对LLM中反思相关计算的控制:
- 对比隐藏状态:在LLM的每一层中对比反思与非反思的隐藏状态。
- 去噪与正交化:使用主成分分析(PCA)对结果进行去噪,并将反思方向正交化以避免与一般推理方向的重叠。
- 层间校准与稳定化:通过在多个干预强度下对少量数据进行层间校准,仅保留稳定的层,并对其残差流激活应用有界投影去除。
实验与结果
研究团队在两个公共基准测试和三个开放权重的LLM上进行了广泛的实验,并与现有的最先进激活引导基线进行了对比。结果表明,Reflection Steering在六个匹配设置中平均减少了16.9%的推理token。此外,该方法引入的可调节干预强度参数α,使得在部署时能够根据具体需求调整token节省、准确性和生成稳定性之间的平衡。
技术亮点
- 无训练框架:无需额外训练即可实现对反思相关计算的精细控制。
- PCA去噪与正交化:通过PCA去噪和正交化方向,提升了方法的稳定性和效率。
- 可调节干预强度:引入了干预强度参数α,使得模型在推理过程中能够灵活调整以适应不同需求。
行业影响与开发者建议
Reflection Steering框架为LLM的推理效率提升提供了新的思路,尤其适用于对延迟和token使用量敏感的应用场景。开发者可以尝试将该方法集成到现有的LLM推理管道中,以优化模型性能。此外,该方法的可调节性使其能够适应不同的应用需求,为AI系统的部署提供了更大的灵活性。
—— 完 ——消息来源:ArXiv cs.LG (2026-08-26)
主题标签: #ArXiv #LLM #推理效率 #Reflection Steering
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区