DS@GT ARC四阶段流水线生成事实核查文章

摘要：DS@GT ARC团队面向CLEF 2026 CheckThat! Lab Task 3提出事实核查文章生成系统，将声明、既有核查结论与抓取文档送入四阶段流水线：证据清洗、来源检索聚类、基于Llama-3.1-8B-Instruct的文章生成，以及确定性引文恢复。系统在九支队伍中排名第三，平均分0.428，高于0.272的基线。其工程价值在于把生成与引用后处理解耦，但绝对得分仍显示长文证据组织、事实一致性和可核验性尚有提升空间。

---

四阶段流水线如何生成可追溯的核查文章

DS@GT ARC团队在CLEF 2026 CheckThat! Lab Task 3中提交了一套面向事实核查文章自动生成的系统。输入包括待核查声明、事实核查员给出的原始结论，以及从网页抓取的候选材料；输出则是包含正文和行内引用的完整文章。

整套方法分为四个阶段：

1. 证据清洗：过滤抓取文档中的噪声内容，保留可作为论证依据的材料。
2. 来源检索与聚类：围绕声明及结论检索相关文档，并通过聚类抑制重复来源，让相近证据聚合为稳定的引用单元。
3. 条件化文章生成：使用Llama-3.1-8B-Instruct，以原始事实核查结论作为条件生成文章。这样做把“判定真假”和“组织解释”拆成两个子任务，避免语言模型自行推断一个未经授权的核查结论。
4. 确定性引文恢复：生成结束后，根据证据聚类与来源标识，通过确定性规则补回行内引用，而不是完全依赖模型在生成过程中同时生成准确引用。

这种设计的关键并非扩大模型规模，而是降低生成模型的职责复杂度。8B模型只需完成结构化写作；事实结论来自输入，引用映射交给可检查的规则程序。

条件化生成的工程价值与限制

将既有判定作为生成条件，可以降低系统幻觉出“假”或“真”的风险，但不能保证正文忠实表达原始结论。声明、证据和结论之间仍可能出现语义偏移，例如模型可能把“证据不足”强化为“基本属实”，或者将限定性结论写成绝对判断。

Llama-3.1-8B-Instruct也意味着系统不依赖大型闭源API，部署成本和本地化门槛相对可控。不过，摘要没有披露上下文长度、量化方式、GPU配置、吞吐量及单篇生成延迟，无法直接估算批量生产成本。

四阶段方案还意味着生成延迟由清洗、检索、聚类、推理和引文恢复共同决定。即使8B模型本身足够快，网页清洗和检索也可能成为端到端瓶颈。生产部署应分别记录各阶段耗时，并缓存同一批证据的清洗和聚类结果。

引用恢复为何适合确定性处理

事实核查文章的关键不是“带链接”，而是引用是否真正支撑对应论断。团队把引文恢复放在生成之后，通过确定性后处理完成，这一方向比让模型自由生成引用更容易审计。

不过，“引用存在”不等于“引用正确”。至少还需要验证三项约束：

• 引用文档是否真正出现在候选证据集合中；
• 引文所指段落是否包含相应论据，而非仅在主题上相关；
• 多条引用是否共同支持结论，是否存在以偏概全或来源冲突。

如果后处理只依据段落位置或句子相似度完成，那么它解决的是引文格式和链接映射问题，无法完全解决蕴含判断、跨来源冲突及证据强度评估。后续可加入轻量NLI模型或证据质量分类器，形成“候选召回—规则对齐—蕴含复核”的分层链路。

竞赛结果应如何解读

该系统在九支队伍中排名第三，平均分为0.428，基线平均分为0.272。绝对增益为0.156，相对基线约提升57.4%，说明四阶段流程相较基础方案有明显改进。

但0.428的绝对得分也表明，系统距离高质量、可直接发布的事实核查文章仍有距离。排名结果还受参赛队伍数量、任务评分规则、测试集规模和基线实现影响。若不同队伍使用了不同的证据检索器、提示模板或计算预算，排行榜不能直接等同于方法层面的完全公平比较。

此外，竞赛成绩不能替代错误类型分析。真正有价值的评测应分别统计事实结论保持率、无依据断言率、引用精确率、引用召回率、来源多样性，以及不同语言和不同证据噪声等级下的稳健性。

开发者落地建议

该方案适合构建“已有专业核查结论”的辅助写作系统，而不适合让LLM独立完成事实判定。实际部署可按以下顺序推进：

• 将原始核查结论设计为结构化字段，明确真、假、误导、无依据或证据不足等类别及其限定条件；
• 保存证据清洗、聚类、来源URL与生成句之间的映射，便于审计和重生成；
• 对关键论断增加引用蕴含校验，冲突证据单独展示，而不是简单择一生成；
• 设置人工审批门控，尤其适用于医疗、选举和公共安全等高风险主题；
• 使用不同网页抓取噪声、来源重复率和跨语言声明进行压力测试；
• 分别测量各阶段成本，避免把LLM推理开销与检索、清洗、聚类的系统开销混为一谈。

总体而言，这项工作展示了一条务实的路径：专业系统负责事实判断，LLM负责证据解释，程序负责引用映射。它能降低核查文章的撰写成本，却不能替代证据审查和责任判断。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-06)

—— 完 ——

主题标签： #事实核查 关注 #Llama-3.1-8B 关注 #RAG 关注 #引文恢复 关注 #信息检索 关注