arXiv提出自适应边际序数损失AMOL:解决中心类规避问题
摘要:arXiv发布了一项关于序数分类任务中中心类规避问题的研究成果,提出了一种名为自适应边际序数损失(AMOL)的新方法。AMOL通过引入一个动态权重函数,抑制模型在预测时偏向中心类,从而提升分类准确性。该研究还提出了一种诊断指标——中心类规避率(CHR),用于量化这一问题的严重程度。在多个基准测试中,AMOL及其非对称变体(AMOL-asym)均表现出色,尤其在消除中心类规避方面效果显著。
序数分类中的中心类规避问题
在序数分类任务中,传统的交叉熵损失函数会导致神经网络偏向于预测中心类,这种现象被称为“中心类规避”。这是因为预测中间类可以最小化对称损失,使其成为阻力最小的路径,而不考虑真实标签。现有的一些序数损失函数虽然解决了诸如大误差惩罚和秩一致性等问题,但未能直接抑制中心类规避现象。
自适应边际序数损失(AMOL)
为了解决这一问题,研究人员提出了自适应边际序数损失(AMOL)。AMOL通过以下公式引入一个动态权重函数:
[m(k,y) = 1 + \alpha \cdot (1 - |k-c|/c) \cdot (|y-c|/c)]
其中,(c)为中心类,(k)为候选类,(y)为真实标签。该权重函数只有在候选类接近中心类且真实标签远离中心类时才会变大,否则会回归到标准行为。
中心类规避率(CHR)
研究还引入了中心类规避率(CHR)作为诊断指标,用于直接量化中心类规避的严重程度。在四个序数分类基准测试和五个随机种子的实验中,AMOL在所有四个数据集上均取得了最佳或并列最佳的二次加权卡帕系数(QWK)得分。AMOL的非对称变体(AMOL-asym)在鲍鱼数据集上完全消除了中心类规避(CHR = 0.000 ± 0.000),而标准交叉熵的CHR为0.074 ± 0.005。
技术亮点
- 动态权重函数:AMOL通过动态权重函数抑制模型偏向中心类。
- 中心类规避率(CHR):提供了一种量化中心类规避问题的新方法。
- 性能提升:在多个基准测试中,AMOL及其非对称变体均表现出色。
行业影响与开发者建议
AMOL的提出为序数分类任务提供了一种新的解决方案,特别是在需要高精度分类的应用场景中,如医学诊断、情感分析和推荐系统等。开发者可以尝试在现有模型中引入AMOL,以提升分类性能。同时,CHR指标可以帮助研究人员更好地理解和诊断中心类规避问题。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-09-11)
主题标签: #arXiv #机器学习 #序数分类 #损失函数 #AMOL
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区