知识追踪模型稳定性与解释性研究取得突破：验证协议提出新方法

摘要：本研究提出了一种针对知识追踪（KT）模型的验证协议，涵盖预测能力、解释稳定性以及基于重训练的忠实性三个核心维度。通过对ASSISTments 2009和2012数据集的深入分析，研究团队设计了覆盖五个教育主题的13个行为特征，并采用XGBoost模型结合TreeSHAP解释方法，与四种深度学习基线模型（DKT、SAKT、AKT和SimpleKT）进行对比。结果表明，XGBoost在预测性能上与深度模型相当，同时在解释稳定性方面表现出色。研究还发现，模型解释结果对数据重建和特征工程高度敏感，为KT模型的进一步优化提供了重要参考。

---

研究背景与动机

知识追踪（KT）模型在教育技术领域被广泛用于预测学生的学习表现，但其预测过程的不透明性限制了教育工作者采取有效的教学干预措施。本研究旨在通过提出一种新的验证协议，提升KT模型的可解释性和稳定性。

主要贡献

1. 验证协议设计：提出了涵盖预测能力、解释稳定性以及基于重训练的忠实性的综合验证框架。
2. 特征工程与数据重建：从ASSISTments 2009和2012数据集中提取了覆盖五个教育主题的13个行为特征，并进行了数据重建以消除数据泄漏问题。
3. 模型对比与评估：采用XGBoost模型结合TreeSHAP解释方法，与四种深度学习基线模型（DKT、SAKT、AKT和SimpleKT）进行对比。结果表明，XGBoost在预测性能上与深度模型相当，同时在解释稳定性方面表现出色。
4. 关键发现：
   • XGBoost模型在2012年数据集上的AUC达到0.777，在重建后的2009年数据集上达到0.786。
   • 解释结果的排名在不同折叠、种子和条件设置下高度一致（Spearman相关系数0.989-1.000）。
   • 移除高排名的TreeSHAP特征对AUC的影响大于随机移除，验证了特征的重要性。

技术亮点

• 数据重建与特征工程：通过重建ASSISTments 2009数据集，解决了多技能交互数据中的数据泄漏问题。
• 模型对比与解释性分析：XGBoost模型在预测性能上与深度模型相当，同时在解释稳定性方面具有优势。
• 验证框架的创新性：综合评估预测能力、解释稳定性和忠实性，为KT模型的优化提供了新的思路。

行业影响与开发者建议

• 教育技术领域：KT模型的解释稳定性提升，有助于教育工作者更好地理解模型预测过程，从而采取更有效的教学干预措施。
• AI模型开发：研究强调了数据重建和特征工程的重要性，开发者应关注数据质量对模型性能的影响。
• 未来研究方向：进一步探索KT模型在不同教育场景中的应用，以及结合更多行为特征提升模型预测能力。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-09-26)

—— 完 ——

主题标签： #知识追踪 #模型解释性 #XGBoost #TreeSHAP #教育技术