智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #ArXiv #大语言模型 #决策稳定性 #OC-SFT #评分器

ArXiv提出OC-SFT方法:提升大语言模型评分器的决策稳定性

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv发布了一项关于提升大语言模型(LLM)评分器决策稳定性的研究,提出了一种名为OC-SFT(Order-Consistency Supervised Fine-Tuning)的新方法。该方法通过训练模型,使其评分结果不依赖于候选文档或响应的顺序,从而解决了现有评分器因顺序不同导致决策不一致的问题。实验表明,OC-SFT在保持排名质量的同时,显著提升了决策稳定性,例如在多跳问答和阅读理解任务中,模型对不同顺序输入的敏感性大幅降低。这一成果为LLM在需要高决策一致性的应用场景中提供了更可靠的技术基础。


背景与挑战

在自然语言处理任务中,LLM评分器(如重排序器、奖励模型和多文档问答评分器)常用于对候选文档或响应进行评分。然而,现有研究表明,这些评分器的评分结果高度依赖于输入的顺序,即在相同LLM提示下,顺序不同会导致评分不同,从而影响最终决策。例如,在段落重排序任务中,五个训练后的评分器在0.010 nDCG@10范围内,当输入顺序改变时,保留的集合重叠度仅为0.66-0.84。这一现象表明,尽管评分器在排名质量上表现良好,但其决策稳定性较差,难以满足实际应用中对一致性的需求。

方法:OC-SFT

为了解决上述问题,研究人员提出了OC-SFT(Order-Consistency Supervised Fine-Tuning)方法。该方法的核心思想是通过训练模型,使其评分结果不依赖于输入的顺序。具体来说,OC-SFT在训练过程中引入了一种新的损失函数,该损失函数鼓励模型在面对不同顺序的输入时产生一致的评分结果。

主要技术亮点

  1. 顺序一致性训练:通过设计新的损失函数,OC-SFT使模型在面对不同顺序的输入时能够产生一致的评分结果,从而提升了决策稳定性。
  2. 保持排名质量:OC-SFT在提升决策稳定性的同时,并未牺牲排名质量。实验表明,该方法在多个基准测试中均保持了较高的排名质量。
  3. 广泛的适用性:OC-SFT不仅适用于重排序任务,还适用于多文档问答和奖励建模等任务,展示了其广泛的适用性。

实验结果

实验结果表明,OC-SFT在多个任务中均表现出色:

  • 在段落重排序任务中,OC-SFT将不同顺序输入的保留集合重叠度从0.66-0.84提升至0.85-0.92。
  • 在多跳问答任务中,OC-SFT将模型对不同顺序输入的答案翻转率从0.149-0.164降低至0.125。
  • 在阅读理解任务中,OC-SFT在保持高准确率的同时,显著降低了模型对输入顺序的敏感性。

行业影响与未来展望

OC-SFT的提出为LLM评分器在需要高决策一致性的应用场景中提供了更可靠的技术基础。例如,在金融分析、法律文书处理和医疗诊断等领域,决策的一致性和可靠性至关重要。OC-SFT的应用将有助于提升这些领域AI系统的性能。此外,OC-SFT也为未来研究提供了新的方向,例如探索更高效的顺序一致性训练方法,以及将OC-SFT与其他技术(如强化学习)结合以进一步提升模型性能。


消息来源:ArXiv cs.LG (2026-08-27)

—— 完 ——

主题标签: #ArXiv #大语言模型 #决策稳定性 #OC-SFT #评分器

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…