arXiv研究揭示指令微调对语言模型数字选择启发式的影响

摘要：arXiv发布的一项新研究深入探讨了指令微调对语言模型数字选择行为的影响。研究通过精确测量模型在随机数生成任务中赋予1到N之间每个整数的概率，揭示了指令微调如何使模型分布更不均匀，并引入或强化了特定的启发式策略，如避免整数边界和避免整数倍数（如10的倍数）。研究还发现，指令微调并未在模型间形成统一的偏好数字，但显著提升了模型对奇数的偏好一致性。这项研究为理解大语言模型在生成随机数时的行为模式提供了新的见解，并展示了指令微调在塑造模型行为中的潜力。

---

研究背景与动机

近年来，大语言模型（LLMs）在自然语言处理任务中取得了显著进展，但其生成随机数的行为模式尚未得到充分研究。本研究旨在通过精确测量模型在随机数生成任务中的行为，揭示指令微调对模型数字选择启发式的影响。

研究方法

研究团队通过以下步骤展开实验：

1. 数据收集与处理：对18个开源权重模型在5个不同范围（1到N，N ≤ 100）下进行测试，共涉及29种解码配置和两种推理堆栈。
2. 指令微调：对其中15对模型进行指令微调，并比较微调前后的行为变化。
3. 概率计算：通过累加每个整数的评分拼写来计算模型赋予每个整数的概率，而非通过采样估计，从而消除噪声影响。

主要发现

1. 启发式策略的引入与强化：指令微调在所有15对模型中均使分布更不均匀，并引入了避免整数边界和避免10的倍数的启发式策略。
2. 奇数偏好的一致性：在N=100的情况下，指令微调的模型对奇数的偏好表现出一致性，而基线模型仅表现出微弱的奇数偏好。
3. 模型间无统一偏好数字：指令微调并未在模型间形成统一的偏好数字，模型对数字17的偏好变化在不同模型间存在差异。
4. 温度与核截断的影响：在温度为1.0的情况下，核截断（top-p 0.95）使模型的总变差距离中位数增加了0.035。

工程权衡与实际应用

1. 训练成本与收益：指令微调虽然增加了训练成本，但显著提升了模型在特定任务上的表现，如随机数生成中的启发式策略应用。
2. 模型解释性：本研究为理解指令微调对模型行为的影响提供了新的视角，有助于开发更具解释性的模型。
3. 应用场景：该研究结果可应用于需要随机数生成的任务，如游戏AI、模拟和随机采样等场景。

开发者建议

1. 微调策略选择：在需要特定数字选择行为的任务中，建议使用指令微调来强化或引入特定的启发式策略。
2. 模型评估：在部署模型前，应通过精确的概率计算方法评估模型的行为模式，而非依赖采样估计。
3. 持续优化：根据具体应用场景，持续优化指令微调策略，以实现更符合需求的模型行为。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-28)

—— 完 ——

主题标签： #arXiv 关注 #指令微调 关注 #语言模型 关注 #随机数生成 关注 #启发式策略 关注