arXiv发布KSE-Web：低资源高棉语语义搜索新突破

摘要：arXiv发布了一篇关于低资源语言高棉语语义搜索的研究论文，提出了一种名为KSE-Web的新方法。该研究构建了一个包含300个用户风格搜索查询和3,000篇高棉语文档的数据集，并评估了多种检索方法，包括字符n-gram BM25、多语言密集检索、混合BM25+密集检索以及基于Qwen2.5模型的LLM辅助查询扩展。实验结果表明，BM25方法整体表现最佳，而混合检索方法也表现出色。LLM辅助查询扩展虽然未超越非扩展检索，但Qwen2.5-3B模型在扩展查询结果上显著优于Qwen2.5-0.5B，凸显了模型规模对低资源语言检索的重要性。研究还指出，直接的LLM扩展可能引入主题漂移和噪声问题，为未来高棉语检索数据集的改进提供了方向。

---

研究背景与挑战

高棉语作为一种低资源语言，在语义搜索领域面临诸多挑战，包括有限的数据标注、模糊的词边界、多语言嵌入模型支持不足以及高棉语与英语的混合使用问题。这些因素使得高棉语语义搜索的实现变得复杂且困难。

KSE-Web方法与数据集

为了应对这些挑战，研究团队提出了KSE-Web方法，并构建了一个包含约17,000个候选高棉语标题的数据集，经过过滤、规范化、去重和文档长度控制后，最终保留了3,000篇完整的高棉语文档。数据集还包括300个经过人工审查的用户风格搜索查询和部分人工验证的银标相关性标签。

实验与结果

研究团队评估了多种检索方法，包括：

• 字符n-gram BM25：整体表现最佳，达到0.943的召回率和0.876的nDCG。
• 多语言密集检索：表现略低于BM25。
• 混合BM25+密集检索：与BM25表现相当，达到0.929的召回率和0.871的nDCG。
• LLM辅助查询扩展：使用Qwen2.5-3B模型扩展的查询结果显著优于Qwen2.5-0.5B，但未超越非扩展检索方法。

实验结果表明，LLM辅助查询扩展的效果与模型规模密切相关。此外，研究还指出，直接的LLM扩展可能引入主题漂移、通用术语和噪声问题，而简单的过滤可能会去除有用的语义线索。

未来展望

这项研究为未来高棉语检索数据集的改进提供了基础，强调了LLM辅助检索在高棉语语义搜索中的潜力与局限性。研究团队计划发布数据集和文档，以支持后续研究。

技术亮点

• 混合检索方法：结合BM25和密集检索的优势，提供了更全面的检索解决方案。
• LLM辅助查询扩展：展示了模型规模对低资源语言检索的重要性。
• 数据集构建：构建了一个高质量的高棉语语义搜索数据集，为后续研究提供了重要资源。

行业影响与开发者建议

这项研究为低资源语言语义搜索领域提供了新的思路和方法。对于开发者而言，可以考虑以下建议：

• 结合多种检索方法：根据具体应用场景，结合BM25和密集检索方法，以实现更优的检索性能。
• 重视模型规模：在低资源语言检索中，选择合适的LLM模型规模至关重要。
• 关注数据质量：构建高质量的数据集是提升检索性能的关键。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-08-25)

—— 完 ——

主题标签： #低资源语言 #语义搜索 #LLM #高棉语 #混合检索