arXiv提出Fisher Utility Weighting：革新智能体蒸馏中的Token选择机制

摘要：arXiv发布了一项关于智能体蒸馏中Token选择机制的研究，提出了一种名为Fisher Utility Weighting (FUW)的新方法。该方法通过计算每个Token在学生模型预测分布上的局部KL散度预算下的损失减少量，评估其重要性。实验结果表明，FUW在七个数学推理基准测试和三种Qwen3学生-教师模型对上均优于传统的均匀Token选择方法，在反向KL和前向KL目标下分别提升了1.35-4.0和1.08-2.71个宏观分数点。FUW展示了其在处理复杂任务中的潜力，并为智能体蒸馏技术提供了新的优化方向。

---

1. 研究背景与动机

在智能体蒸馏（On-Policy Distillation, OPD）过程中，选择合适的Token对于提升模型性能至关重要。传统方法通常依赖不确定性、教师-学生分歧或方向性不匹配等信号来优先处理学生模型访问的位置。然而，这些方法未能充分利用蒸馏目标本身的特性，可能导致次优的性能表现。

2. 方法与核心机制

本研究提出了一种名为Fisher Utility Weighting (FUW)的新方法，通过计算每个Token在学生模型预测分布上的局部KL散度预算下的损失减少量来评估其重要性。具体来说，FUW的效用函数为 $s_t=g_t^\top F_t^\dagger g_t$，其中 $g_t$ 是logit梯度，$F_t$ 是分类Fisher矩阵。对于反向KL目标，FUW等于学生-教师对数概率比率的学生加权方差；对于前向KL目标，它等于Pearson $\chi^2$ 散度。

3. 实验与结果

在七个数学推理基准测试和三种Qwen3学生-教师模型对上，FUW在反向KL目标下提升了1.35-4.0个宏观分数点，在前向KL目标下提升了1.08-2.71个宏观分数点。与现有的选择性方法相比，FUW在保持单一训练目标导出的封闭形式分数的同时，表现出更强的竞争力。

4. 技术权衡与工程成本

FUW的优势在于其能够根据蒸馏目标自适应地调整Token权重，从而在复杂任务中实现更高效的优化。然而，该方法需要计算Fisher矩阵的逆，这可能在高维数据或大规模模型中带来较高的计算成本。此外，FUW对训练数据的质量和分布敏感，可能需要更精细的数据预处理和正则化策略。

5. 开发者落地与部署建议

对于希望采用FUW的开发者，建议首先在小型模型和数据集上进行测试，以评估其性能提升和计算开销。同时，可以考虑结合其他优化技术，如量化或剪枝，以降低计算成本。此外，FUW的效用函数可以进一步扩展，以适应不同的蒸馏目标和任务需求。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-15)

—— 完 ——

主题标签： #智能体蒸馏 关注 #Fisher Utility Weighting 关注 #KL散度 关注 #Qwen3 关注 #arXiv 关注