arXiv提出Artifact Distillation：无需训练的小模型知识迁移新方法

摘要：arXiv发布了一种名为Artifact Distillation的新方法，旨在缩小前沿大模型与小型语言模型之间的性能差距。该方法通过教师模型解决训练实例并生成问题解决过程库，学生模型在推理时查询该记录库，无需梯度更新，从而实现知识迁移。实验表明，使用Claude Opus 4.5生成的记录库，Claude Haiku 4.5在空间推理任务上表现优于Claude Sonnet 4.5，同时成本仅为后者的60%。此外，该方法还成功提升了Qwen3.5-27B模型在多个任务上的表现，证明了知识迁移不仅限于教师模型的家族。

---

技术机制剖析

Artifact Distillation通过将教师模型的问题解决过程外部化为一个记录库（artifact bank），实现了无需梯度更新的知识迁移。这种方法的核心在于：

1. 教师模型生成记录库：教师模型（如Claude Opus 4.5）解决训练实例，并将其问题解决过程记录下来，形成一个结构化的记录库。
2. 学生模型查询记录库：在推理阶段，学生模型（如Claude Haiku 4.5）通过查询该记录库来获取所需的知识，而无需进行额外的训练或梯度更新。

这种方法的优势在于：

• 高效性：无需重新训练学生模型，节省了大量计算资源。
• 灵活性：记录库可以随时更新和扩展，适应不同的任务需求。
• 通用性：知识迁移不限于教师模型的家族，实验表明Qwen3.5-27B也能从中受益。

工程权衡与实测表现

• 成本与性能：使用Artifact Distillation，Claude Haiku 4.5在空间推理任务上的表现优于Claude Sonnet 4.5，同时成本仅为后者的60%。在表格连接任务中，其表现与Claude Sonnet 4.5相当，但成本降至89%。
• 跨模型适用性：记录库对Qwen3.5-27B的提升效果显著，表明该方法具有广泛的适用性。
• 局限性：目前该方法主要适用于推理阶段的知识查询，对于需要复杂推理和创造力的任务，可能存在一定的局限性。

开发者落地与部署建议

1. 记录库构建：开发者可以根据具体任务需求，构建适合的记录库。可以考虑使用多种教师模型生成记录库，以提升知识的多样性和覆盖面。
2. 模型选择：选择适合的学生模型，确保其能够有效地查询和使用记录库中的知识。
3. 任务适配：针对不同的任务，调整记录库的格式和内容，以实现最佳的性能表现。
4. 持续优化：定期更新记录库，并根据模型的使用反馈进行优化，以不断提升知识迁移的效果。

结论

Artifact Distillation提供了一种无需训练的知识迁移新方法，为缩小大模型与小型模型之间的性能差距提供了新的思路。其高效性、灵活性和通用性使其在多个领域具有广泛的应用前景。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-30)

—— 完 ——

主题标签： #arXiv 关注 #知识迁移 关注 #大语言模型 关注 #推理优化 关注 #Artifact Distillation 关注