arXiv研究：图LLM节点分类方法被质疑，廉价基线方法表现接近

摘要：arXiv发布的一项研究对基于大语言模型（LLM）的文本属性图（TAGs）节点分类方法提出质疑。研究通过在三个近期研究的拆分数据集上微调四种基线方法，并与LLM方法进行对比，发现基于TF-IDF特征的Correct & Smooth方法与LLM方法的差距中位数仅为2.3个百分点，而基于冻结e5-large-v2嵌入的MLP方法差距为2.8个百分点。尽管在部分任务上LLM方法仍有显著优势，但基线方法在多个任务中表现出接近甚至更好的性能。研究还指出当前LLM方法在评估中存在超参数选择偏差、测试集标签泄露、基线数据重复使用等问题，呼吁对LLM方法进行更严格的评估。

---

研究背景与动机

近年来，基于大语言模型（LLM）的文本属性图（TAGs）节点分类方法在多个研究中取得了显著进展，频繁被报道为“达到最先进水平”。然而，这些方法是否真正优于更简单的基线方法？本研究旨在通过系统对比，评估LLM方法在节点分类任务中的实际优势。

研究方法

研究团队在三个近期研究的拆分数据集上微调了四种基线方法：“不变与平滑”（Correct & Smooth）方法、基于TF-IDF特征的MLP模型、基于冻结e5-large-v2嵌入的MLP模型，以及一个简单的逻辑回归模型。通过与LLM方法在相同设置下的表现进行对比，研究团队发现：

• 基线方法表现接近：基于TF-IDF特征的Correct & Smooth方法与LLM方法的差距中位数仅为2.3个百分点，而基于冻结e5-large-v2嵌入的MLP方法差距为2.8个百分点。在24个任务中，Correct & Smooth方法在15个任务中与LLM方法的差距在3个百分点以内。

• LLM方法仍有优势：在22个可测试任务中，LLM方法在12个任务中表现显著优于基线方法。

评估风险与问题

研究还指出，当前LLM方法在评估中存在以下问题：

1. 超参数选择偏差：部分研究在测试集上选择超参数或检查点，导致结果不可靠。
2. 测试集标签泄露：测试池中的节点标签被用于训练，违反了机器学习的基本原则。
3. 基线数据重复使用：一些研究未披露重复使用基线数据的情况，可能导致结果夸大。
4. 文本-标签错位：例如，在公开的Cora加载器中存在文本-标签错位问题。

此外，研究发现，不同研究对同一方法在同一拆分数据集上的报告结果差异可达12.5个百分点，这表明当前LLM方法的评估过程缺乏标准化。

结论与建议

本研究结果表明，尽管LLM方法在某些任务中仍有显著优势，但基线方法在许多情况下表现出接近甚至更好的性能。研究呼吁对LLM方法进行更严格的评估，并建议在未来的研究中采用更透明的评估流程，以避免评估偏差和结果夸大。

开发者建议

对于开发者而言，本研究提醒我们，在选择节点分类方法时，不应盲目追求LLM方法，而应根据具体任务需求和资源限制，权衡LLM方法与基线方法的优劣。同时，建议在评估过程中采用更严格的验证机制，避免常见的评估风险。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-22)

—— 完 ——

主题标签： #LLM 关注 #图神经网络 关注 #节点分类 关注 #基线方法 关注 #评估风险 关注