智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #知识追踪 #模型验证 #XGBoost #深度学习 #教育技术

arXiv发布知识追踪模型验证协议:提升预测稳定性与解释性

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 12 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于知识追踪(KT)模型的研究,提出了一种综合验证协议,用于评估模型的预测竞争力、解释稳定性以及基于重训练的忠实度。研究通过构建包含13种行为特征和5个教学主题的数据集,并采用XGBoost模型与四种深度学习基线模型(DKT、SAKT、AKT和SimpleKT)进行对比实验。结果表明,XGBoost在预测性能上与深度模型相当,但解释稳定性更高。研究还发现,模型性能与输入信息质量密切相关,而非模型架构本身。这项研究为知识追踪模型的评估和改进提供了新的方法和见解。


研究背景与动机

知识追踪(KT)模型在教育技术领域被广泛用于预测学生的学习表现,但其预测过程的不透明性限制了教育工作者采取有效的教学行动。为了解决这一问题,arXiv发布了一项研究,提出了一种综合验证协议,旨在全面评估KT模型的预测竞争力、解释稳定性和基于重训练的忠实度。

研究方法

  1. 数据集构建:研究从ASSISTments 2009和2012数据集中提取了13种行为特征,涵盖五个教学主题,并计算了历史特征以捕捉时间上的交互模式。
  2. 模型对比:采用XGBoost模型与四种深度学习基线模型(DKT、SAKT、AKT和SimpleKT)进行对比实验。实验采用信息匹配协议,确保深度模型和XGBoost模型接收相同的输入信息。
  3. 重建数据集:对ASSISTments 2009数据集进行了重建,以消除数据泄漏问题,并重新评估模型性能。

主要发现

  1. 预测性能:XGBoost在重建后的2009数据集上达到了0.786的AUC,在2012数据集上达到了0.777的AUC,与深度模型的表现相当。
  2. 解释稳定性:XGBoost的解释结果在不同的数据折叠、随机种子和条件设置下表现出高度一致性,而深度模型的解释结果则相对不稳定。
  3. 信息质量的影响:模型性能的差异主要源于输入信息的质量,而非模型架构本身。

技术亮点

  • 综合验证协议:首次提出了一种涵盖预测竞争力、解释稳定性和忠实度的KT模型验证方法。
  • XGBoost与深度模型的对比:展示了XGBoost在解释稳定性上的优势,同时在预测性能上不逊色于深度模型。
  • 数据重建与泄漏消除:通过重建数据集,消除了数据泄漏问题,确保了实验结果的可靠性。

行业影响与开发者建议

这项研究为KT模型的评估和改进提供了新的思路和方法。对于开发者而言,建议在选择KT模型时,不仅关注预测性能,还要考虑解释稳定性和数据质量。此外,XGBoost作为一种高效且解释性强的模型,值得在KT应用中进一步探索。

未来研究方向

未来的研究可以进一步优化验证协议,并探索其他模型架构在KT任务中的表现。此外,如何在保证解释稳定性的同时提升预测性能,也是一个值得深入研究的方向。


消息来源:ArXiv Machine Learning (cs.LG) (2026-09-25)

—— 完 ——

主题标签: #知识追踪 #模型验证 #XGBoost #深度学习 #教育技术

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…