arXiv发布SkillEval：基于认知诊断模型的大语言模型技能评估框架

摘要：arXiv发布了一种名为SkillEval的新评估框架，旨在通过跨模型、细粒度的技能分析改进大语言模型（LLM）的评估方式。该框架结合了LLM的元认知能力与心理测量学中的认知诊断模型（CDM），能够自动发现可解释的技能并估算每项技能的LLM能力。实验结果表明，SkillEval生成的模型技能画像比传统基于平均值的评估方法更可靠、更具信息量，并可应用于LLM路由和计算机化自适应测试（CAT），显著降低推理成本并提升性能。

---

核心突破

SkillEval是一种全新的评估框架，通过跨模型、细粒度的技能分析改进大语言模型（LLM）的评估方式。其核心机制包括：

1. 自动技能发现：利用LLM的元认知能力，从问题中自动提取可解释的技能。
2. 认知诊断模型（CDM）应用：通过CDM估算每项技能的LLM能力，生成详细的技能画像。

技术机制剖析

SkillEval整合了LLM的元认知能力与心理测量学中的CDM技术。其主要技术组件包括：

• 问题解析模块：使用LLM解析问题并识别潜在的技能类别。
• 技能映射模块：将识别出的技能类别映射到预定义的技能库中。
• 能力估算模块：应用CDM估算LLM在每项技能上的表现。

工程权衡与实测表现

• 优势：

  • 更细粒度的评估：相比传统基于平均值的评估方法，SkillEval能够提供更详细的技能画像。
  • 预测准确性提升：SkillEval生成的模型技能画像能够更准确地预测模型在未见项目上的表现。
  • 下游应用价值：SkillEval可应用于LLM路由和CAT，显著降低推理成本并提升性能。

• 局限性：

  • 计算开销：SkillEval需要额外的计算资源来执行技能发现和能力估算。
  • 技能库依赖：SkillEval的性能依赖于预定义的技能库的质量和覆盖范围。

开发者落地与部署建议

• 适用场景：

  • 模型评估与选择：SkillEval可用于评估不同LLM在特定任务上的表现，帮助开发者选择最合适的模型。
  • 资源优化：通过LLM路由，SkillEval可以帮助开发者优化推理资源分配，降低成本。
  • 自适应测试：SkillEval的CAT应用可用于开发自适应测试系统，根据模型的表现动态调整测试难度。

• 部署建议：

  • 技能库构建：开发者应根据具体应用场景构建或扩展技能库，以提高SkillEval的评估准确性。
  • 计算资源规划：考虑到SkillEval的计算开销，建议在资源充足的环境中进行部署。

总结

SkillEval通过创新的技能评估方法，为LLM的评估提供了新的视角和工具。其细粒度的技能画像和下游应用价值，使其在模型评估、资源优化和自适应测试等领域具有广泛的应用前景。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-22)

—— 完 ——

主题标签： #SkillEval 关注 #LLM评估 关注 #认知诊断模型 关注 #技能分析 关注 #arXiv 关注