Qwen3.6-27B 替代 GPT-4o-mini：提升 LLM 文本到 SQL 流水线中的判断一致性

摘要：一项关于生产级文本到 SQL 流水线的研究揭示了 LLM 作为评判者与人类标注者的一致性问题。部署的 GPT-4o-mini 模型在一致性测试中表现不佳，Kappa 值仅为 0.04 至 0.42，并存在过度标记问题。研究团队提出了一种基于 Qwen3.6-27B 的自托管替代方案，其 Kappa 值达到 0.72，与 Claude Opus 4.7 的表现相当，但成本仅为后者的 1/300。此外，研究还探讨了多模型集成与强-弱模型配对的效果，并提出了一种基于一致路由的三强模型方案，将一致性提升至 0.79。

---

研究背景与问题

在生产级文本到 SQL 流水线中，LLM 通常被用作评判者，但其与人类标注者的一致性却鲜少被系统评估。本研究针对这一问题展开深入分析，发现部署的 GPT-4o-mini 模型在一致性测试中表现不佳。

主要发现

1. GPT-4o-mini 的表现不佳

   • 在富含分歧的测试集上，GPT-4o-mini 与双作者金标准的 Kappa 值仅为 0.04。
   • 在均匀随机抽查中，Kappa 值提升至 0.42，但仍然偏低。
   • 该模型在富含分歧的测试集中过度标记了 77.1% 的人类忠实案例，主要归因于一种称为“等级幻觉”（GRADE-HALLUCINATION）的机制。

2. Qwen3.6-27B 的替代方案

   • 引入 Qwen3.6-27B 作为替代方案，其 Kappa 值达到 0.72，与 Claude Opus 4.7 的表现相当。
   • 尽管 Qwen3.6-27B 在 n=96 的头部对头部测试中样本量不足，但其在成本上具有显著优势，每次调用成本仅为 Claude Opus 4.7 的 1/300。

3. 模型集成与强-弱模型配对

   • 模型集成并未带来免费收益。
   • 强-弱模型配对反而会降低一致性。
   • 采用一致路由的三强模型方案可将 Kappa 值提升至 0.79，同时实现 89.7% 的自动覆盖。

4. 跨领域应用

   • 在 BIRD-financial 数据集上的应用表明，该审计方案将 25.5% 的专家编写的金标准 SQL 标记为候选金标准问题。

技术亮点

• Qwen3.6-27B 的高效替代方案：在保持高一致性的同时，大幅降低调用成本。
• 多模型集成与强-弱模型配对的分析：揭示了现有方法在提升一致性方面的局限性。
• 一致路由的三强模型方案：为多模型协作提供了新的思路。

行业影响与开发者建议

• 对生产级文本到 SQL 流水线的启示：LLM 作为评判者的一致性问题需要引起重视，建议采用更高效的模型替代方案。
• 多模型协作的优化方向：在多模型协作中，应谨慎选择模型组合，并考虑一致路由策略。
• 成本与性能的平衡：在选择 LLM 时，应综合考虑性能与成本，Qwen3.6-27B 提供了高性价比的解决方案。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-28)

—— 完 ——

主题标签： #Qwen #LLM #文本到SQL #模型评估 #AI推理