ArXiv提出Circuit Condensation：优化模型行为因果图的新方法

摘要：ArXiv发布了一项关于模型行为因果图优化的研究，提出了Circuit Condensation方法。该方法通过后训练模型，将复杂的行为压缩到更小的因果图中，显著减少了图中的边数，同时保持了任务性能和泛化能力。实验表明，在32种设置中，有30种情况下，压缩后的因果图比最强基线小，平均减少了8.1倍，最高可达316倍。这一技术为模型的可解释性和验证提供了新的思路。

---

核心突破

ArXiv的研究团队提出了一种名为Circuit Condensation的新方法，用于优化模型行为的因果图。该方法的核心思想是通过后训练模型，将复杂的行为压缩到更小的因果图中，具体步骤如下：

1. 边缘剪枝与适配器训练：每轮迭代中，剪除低权重的边缘，并训练一个低秩适配器以匹配原始模型的输出。
2. 性能验证：只有当任务性能和泛化能力得以保持时，才保留剪枝结果。
3. 迭代优化：重复上述过程，直到无法进一步减少边缘数量。

实验结果

研究在四种行为和八种模型上进行了测试，结果表明：

• 在32种设置中，有30种情况下，压缩后的因果图比最强基线小，平均减少了8.1倍，最高可达316倍。
• 不进行权重更新的搜索会产生更大的图，表明权重更新是减少图大小的主要驱动力。
• 对19个电路的每个子集进行测试，发现其中11个无法进一步减少，其余的则揭示了可移除的边缘。
• 通过成对消融实验，展示了边缘之间的依赖关系，表明它们的效果不能独立理解。

在间接对象识别任务中，压缩后的电路隔离了24个头，其中17个具有已记录的角色，而匹配的匹配冻结电路则有61个头和36个未记录的角色。这表明压缩后的电路是已发表机制的一个充分子电路，而不是对其的重建。

行业影响与开发者建议

• 可解释性提升：Circuit Condensation为模型的可解释性提供了新的工具，使研究人员能够更清晰地理解模型的行为逻辑。
• 验证效率提高：通过减少因果图的复杂性，验证模型行为变得更加高效，尤其适用于需要高可靠性的应用场景。
• 应用场景广泛：该方法不仅适用于大语言模型，还可用于其他类型的神经网络模型，为AI系统的优化提供了新的思路。

开发者可以利用Circuit Condensation来优化模型的行为表示，从而提升模型的可解释性和验证效率。此外，该方法还可以用于模型压缩和加速，进一步提升AI系统的性能。

---

消息来源：ArXiv cs.LG (2026-08-27)

—— 完 ——

主题标签： #Circuit Condensation 关注 #模型优化 关注 #因果图 关注 #可解释性 关注 #ArXiv 关注