ArXiv发布DataKernelBench：评估大语言模型优化数据库查询的性能

摘要：ArXiv团队推出DataKernelBench，这是一款用于评估大语言模型（LLM）在优化数据库查询性能方面的基准测试平台。通过将SQL查询转换为PyTorch TorchPlan程序，并利用CUDA或Triton进行执行指导修复，DataKernelBench在多个LLM模型上进行了测试。结果显示，最强的CUDA配置在TPC-H SF10基准测试中相较于TorchPlan基线实现了2.11倍的加速。实验还表明，模型性能提升主要依赖于内核融合、执行策略调整以及全查询优化，而硬件上下文的影响相对较小。

---

核心突破

ArXiv团队推出的DataKernelBench旨在填补现有LLM基准测试在数据库查询优化方面的空白。该平台通过以下方式实现了创新：

• SQL到TorchPlan的转换：将SQL查询转换为PyTorch TorchPlan程序，为LLM提供结构化的优化目标。
• CUDA与Triton支持：利用CUDA或Triton进行执行指导修复，适配不同的硬件加速环境。
• 多模型评估：在十个专有和开源权重模型上进行了测试，涵盖不同架构和规模。

技术亮点

1. 性能提升显著：在TPC-H SF10基准测试中，最强的CUDA配置相较于TorchPlan基线实现了2.11倍的加速。
2. 内核融合与策略调整：高性能实现通常依赖于内核融合和执行策略的调整，而非单纯依赖硬件加速。
3. 全查询优化优势：更强的模型从全查询优化中获益更多，表明上下文理解对性能提升至关重要。
4. 扩展性测试：通过Dask-cuDF扩展TorchPlan，实现了对GPU内存外数据的高效处理，在TPC-H SF100基准测试中实现了2.54倍的加速。

行业影响

DataKernelBench的发布为数据库系统与AI技术的融合提供了新的技术路径。其主要影响包括：

• 加速数据库查询优化：LLM在数据库查询优化中的应用有望大幅提升查询效率，尤其在复杂查询场景中表现突出。
• 推动AI与数据库系统协同发展：该平台为研究人员和开发者提供了评估和改进LLM在数据库领域应用的工具，推动相关技术的进步。
• 资源高效利用：通过优化查询执行策略，LLM能够更高效地利用硬件资源，降低能耗和计算成本。

开发者建议

• 关注LLM在数据库领域的应用：开发者应关注LLM在数据库查询优化中的潜力，并探索其在实际应用中的部署方式。
• 利用DataKernelBench进行评估：建议使用DataKernelBench对不同LLM模型进行评估，以选择最适合特定应用场景的模型。
• 结合硬件加速技术：在LLM应用中结合CUDA和Triton等硬件加速技术，以实现更高效的性能提升。

---

消息来源：ArXiv cs.AI (2026-08-25)

—— 完 ——

主题标签： #DataKernelBench 关注 #LLM 关注 #数据库查询优化 关注 #CUDA 关注 #Triton 关注