Hugging Face提出廉价诊断工具：精准识别小型语言模型的工具调用能力

摘要：Hugging Face的研究团队提出了一种针对小型语言模型工具调用能力的廉价诊断工具，通过严格的关键词匹配基准测试，识别模型是否真正具备工具使用能力。研究发现，参数规模为661.6M和1,109M的两个西班牙语安全模型在宽松工具使用指标上表现相似，但通过逐字复现检查发现，参数较小的模型能够正确生成工具调用，而参数较大的模型则无法做到。研究团队提出了一种基于SFT（监督微调）的修复方法，在显著减少训练数据量的前提下，成功提升了较大模型的工具调用能力。这一诊断工具为评估小型语言模型的实际工具使用能力提供了高效且经济的解决方案。

---

研究背景与动机

在小型语言模型中，工具调用能力的评估一直是一个具有挑战性的问题。传统的关键词匹配基准测试方法容易产生误报，无法准确反映模型的实际能力。为此，Hugging Face的研究团队提出了一种新的廉价诊断工具，旨在通过严格的测试方法识别模型是否真正具备工具使用能力。

研究方法与发现

研究团队对两个参数规模分别为661.6M和1,109M的西班牙语安全模型进行了对比分析。这两个模型在宽松的工具使用指标上表现相似，但通过逐字复现检查发现，参数较小的模型能够正确生成工具调用，而参数较大的模型则无法做到。

具体来说，参数较小的模型在6个测试示例中均能生成有效的工具调用，而参数较大的模型在所有检查点均未成功。研究团队通过首token探测发现，参数较大的模型缺少对<|tool_call|>的先验知识，这可能是由于其训练过程中过度依赖网络数据所致。

修复方法与结果

为了修复参数较大的模型，研究团队采用了一种基于SFT（监督微调）的修复方法。该方法使用多样化的语料库、5倍的学习率、2,202步的训练步骤和约3.3 GPU小时的计算资源，成功地在参数减少三个数量级的情况下修复了模型。修复后的模型在269行语料库中的有效生成率从0.100提升至0.959，在238个未见过的提示中，修复后的模型通过率为0.536，而参数较小的模型为0.428（p = 0.004）。

结论与影响

研究表明，这种廉价诊断工具能够有效识别小型语言模型的实际工具调用能力，并为模型修复提供了高效的解决方案。该方法不仅成本低廉，而且对模型嵌入的触发token没有显著影响，仅在周围网络中进行调整。这一研究成果为小型语言模型的评估与优化提供了新的思路。

---

消息来源：Hugging Face Daily Papers (2026-10-01)

—— 完 ——

主题标签： #Hugging Face #语言模型 #工具调用 #SFT #诊断工具