arXiv研究揭示CodeLMs中因果语法电路的机制：预算与探针决定局部化表现

摘要：本研究探讨了CodeLMs（代码语言模型）在生成代码时是否依赖模型内部特定组件的局部化机制。研究通过平均消融、激活补丁、贪心电路提取、随机控制显著性测试和激活引导等方法，分析了55种模型-语言设置，涵盖10个开源代码模型、3种目标语言、2套提示集和2种组件预算。研究发现，代码生成偏好与模型大小相关，且指令微调增强了这种偏好；测量结果主要受探针影响；局部化表现依赖于搜索组件预算；部分干预在小预算下成功；显著但偏离目标的电路效果源于提取失败。研究强调，分析选择对行为局部化结论有重要影响，并公开完整实验网格以供进一步研究。

---

研究背景与动机

在自然语言处理（NLP）领域，代码语言模型（CodeLMs）被广泛用于代码生成任务。然而，这些模型在未指定编程语言的情况下倾向于生成Python代码，这种现象引发了关于其内部机制的问题：这种偏好是否由模型内部特定组件的局部化机制驱动？

方法与实验设计

研究团队采用了一套系统化的方法，包括平均消融、激活补丁、贪心电路提取、随机控制显著性测试和激活引导，来分析模型内部的因果语法电路。具体来说，研究涵盖了55种模型-语言设置，包括10个开源代码模型（5个基础模型和5个指令微调模型）、3种目标语言（Rust、C#、PHP）、2套提示集和2种组件预算（12和40）。

主要发现

1. 偏好与模型大小及指令微调的关系：代码生成偏好与模型大小呈正相关，且指令微调增强了这种偏好。指令微调后的模型在偏好上平均比基础模型高出12%。
2. 测量结果主要受探针影响：将对齐提示替换为XLCoST并行函数后，相同模型的测量结果从约1.6降至约0.01，表明测量结果主要受探针影响。
3. 局部化表现依赖于搜索预算：在12个组件预算下，15个设置中只有1个电路在多重比较校正后优于随机控制；而在40个组件预算下，15个设置中有6个电路表现更好。
4. 小预算干预的成功案例：在小预算研究中报告为普遍失败的干预措施，在某些情况下是成功的。例如，补丁操作在45个设置中有2个成功，激活引导在45个设置中有9个改变了最可能的下一个标记。
5. 电路效果的诊断性：所有显著但偏离目标的电路效果都来自电路提取失败的情况，这表明这些结果具有诊断性而非现象性。

结论与启示

研究结果表明，代码生成偏好并非由单一组件驱动，而是与模型大小、探针选择和搜索预算密切相关。研究强调了在分析行为局部化时，选择合适的分析方法和参数的重要性。此外，研究团队公开了完整的实验网格，以便其他研究者可以验证和扩展这些发现。

工程权衡与实际应用

1. 探针选择的重要性：在设计代码生成模型时，选择合适的探针对于准确评估模型行为至关重要。
2. 预算管理：在资源有限的情况下，合理分配组件预算可以显著影响模型的局部化表现。
3. 指令微调的效果：指令微调不仅能提高模型性能，还能增强其对特定任务的适应性。

开发者建议

对于开发者和研究人员，建议在设计和使用CodeLMs时，考虑以下因素：

• 探针设计：选择能够准确反映模型行为的探针。
• 预算分配：根据任务需求合理分配组件预算。
• 指令微调：利用指令微调提高模型在特定任务上的表现。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-16)

—— 完 ——

主题标签： #CodeLMs 关注 #因果语法电路 关注 #模型机制 关注 #指令微调 关注 #探针设计 关注