arXiv提出分层智能体蒸馏框架：革新LLM智能体学习范式

摘要：arXiv发布了一种全新的分层智能体蒸馏框架，旨在解决交互式大语言模型（LLM）智能体在蒸馏过程中面临的策略选择问题。该框架通过明确区分诱导交互历史的策略与生成当前动作的策略，实现了更精细化的策略控制与训练优化。研究表明，结合教师生成的行动前缀与学生诱导的历史数据能够提供更强大的独立训练信号，而完全依赖学生的数据表现最差。此外，混合不同配置的数据能够进一步提升模型性能，而训练顺序对最终效果也有显著影响。这一研究为LLM智能体的蒸馏与训练提供了新的理论依据和实践指导。

---

研究背景与动机

交互式大语言模型（LLM）智能体的蒸馏过程需要选择教师生成的演示数据或学生生成的经验数据，这通常对应于离策略（off-policy）和在策略（on-policy）蒸馏。然而，这两种策略的区分并非绝对，arXiv的研究团队提出了一种分层智能体蒸馏框架，通过明确区分诱导交互历史的策略与生成当前动作的策略，实现更精细化的策略控制与训练优化。

技术机制剖析

该框架引入了两个层次的策略控制：

1. 诱导交互历史的策略：决定智能体如何与环境交互并生成历史数据。
2. 生成当前动作的策略：决定智能体在当前状态下选择的具体动作。

通过将这两个层次的策略分离，研究人员能够更灵活地控制它们的配对方式、混合比例以及训练安排。研究采用了自蒸馏方法，即冻结的教师模型拥有学生模型无法获取的任务指导信息，并在三个模型和四个交互环境中进行了三阶段的对照实验。

实验结果与发现

1. 最佳训练信号：学生诱导的历史数据与教师生成的行动前缀相结合，提供了最强大的独立训练信号。
2. 最差表现：完全依赖学生生成的数据进行训练表现最差。
3. 混合数据的效果：将完全在策略的数据与其他配置混合后，数据的有益性显著提升。
4. 配对方式的重要性：即使教师/学生比例相同，不同的配对方式也会导致性能上的显著差异。
5. 训练顺序的影响：优先使用教师生成的数据并延迟使用完全在策略的数据，可以提升整体性能。

工程权衡与实际应用建议

1. 训练数据配置：建议在训练初期优先使用教师生成的数据，以快速提升模型性能。
2. 混合策略的灵活性：根据具体任务需求，灵活调整教师与学生数据的混合比例，以获得最佳性能。
3. 自蒸馏的优势：自蒸馏方法在保持模型性能的同时，避免了全参数微调的高成本和干扰问题。

开发者落地与部署建议

对于希望提升交互式LLM智能体性能的开发者，建议采用分层蒸馏策略，并结合教师生成的数据与学生诱导的历史数据。同时，应根据任务需求动态调整训练数据配置，以实现最佳的训练效果。

---

消息来源：ArXiv AI (cs.AI) (2026-10-27)

—— 完 ——

主题标签： #arXiv 关注 #智能体 关注 #LLM 关注 #分层蒸馏 关注 #自蒸馏 关注