arXiv提出激活条件自蒸馏方法ACSD，显著提升模型推理性能

摘要：arXiv发布了一种名为激活条件自蒸馏（ACSD）的新方法，通过对比自生成轨迹中达到验证正确结果的激活与剩余轨迹的激活，提取引导向量并应用于模型预测。该方法无需特定问题的参考文本或教师模型参数更新，在五个模型上的数学基准测试中均取得最高平均准确率，尤其在DeepSeek-R1-0528-Qwen3-8B模型上，数学平均准确率达到71.9%，LiveCodeBench v6 pass@12达到70.9%，相比基线方法显著提升。ACSD在蒸馏过程中表现出更稳定的逻辑更新幅度，为推理效率优化提供了新的技术路径。

---

激活条件自蒸馏（ACSD）方法概述

arXiv发布了一种名为激活条件自蒸馏（ACSD）的新方法，旨在提升模型在推理过程中的表现。该方法的核心思想是通过对比自生成轨迹中达到验证正确结果的激活与剩余轨迹的激活，提取一个引导向量，并将其应用于模型的预测过程中。以下是ACSD方法的主要技术亮点：

• 自生成轨迹对比：ACSD通过对比自生成轨迹中达到验证正确结果的激活与所有其他轨迹的激活，提取出一个引导向量。这个向量用于在每个预测位置调整模型的输出分布。
• 无需参考文本或教师模型更新：ACSD方法不需要特定问题的参考文本，也不需要教师模型的参数更新，这使得该方法在应用上更加灵活和高效。
• 学生模型学习与推理：在推理过程中，使用冻结的基线模型应用引导向量，学生模型则从其生成的下一个token分布中学习。

实验结果与性能表现

ACSD方法在五个模型上的数学基准测试中均取得了最高平均准确率。以下是一些关键实验结果：

• 在DeepSeek-R1-0528-Qwen3-8B模型上，ACSD方法将数学平均准确率从69.0%提升至71.9%，LiveCodeBench v6 pass@12从66.3%提升至70.9%。
• ACSD在蒸馏过程中表现出更稳定的逻辑更新幅度，相比基线方法OPSD，ACSD在固定学生轨迹上保持了更稳定的晚期位置逻辑更新幅度。

技术优势与应用前景

ACSD方法的优势在于其高效性和灵活性，无需依赖特定问题的参考文本或教师模型更新，使其在各种推理任务中具有广泛的应用潜力。以下是ACSD方法的一些潜在应用场景：

• 推理效率优化：ACSD通过提供更稳定的逻辑更新幅度，有助于提升模型在复杂推理任务中的表现。
• 跨领域应用：由于ACSD不依赖于特定问题的参考文本，它可以在不同领域的数据集上进行应用，例如数学、科学和工程等领域。

开发者建议

对于开发者而言，ACSD提供了一种新的思路来优化模型的推理性能。以下是一些建议：

• 尝试在现有模型上应用ACSD：开发者可以尝试将ACSD方法应用于现有的模型，以提升其推理性能。
• 结合其他优化技术：ACSD可以与其他优化技术结合使用，例如知识蒸馏和模型压缩，以进一步提升模型的整体性能。

行业影响

ACSD方法的发布为AI领域提供了一种新的技术路径，有助于提升模型在推理过程中的表现。其无需依赖特定问题的参考文本和教师模型更新的特性，使其在各种应用场景中具有广泛的应用前景。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-01)

—— 完 ——

主题标签： #arXiv #自蒸馏 #推理优化 #DeepSeek #Qwen