arXiv研究：基于计算方法测量梵文文献中的语义变化

摘要：本研究旨在探索跨时代词嵌入技术是否适用于梵文这一古老且资源匮乏的语言。研究者构建了一个涵盖四个经典时期的270万词符语料库，并使用神经字节级连音分割器和词形还原器恢复词边界，随后在不同配置下训练了跨时期的词嵌入模型。通过历史学术成果构建验证集，并使用锚点位移法进行方向性测试，结果显示在21个可测试的语义变化中，有19个符合文献记载的方向（符号检验，p=0.00011）。研究还探讨了语言特性对模型配置的影响，并提出了改进方向。

---

研究背景与动机

梵文是一种拥有丰富文献遗产的古老语言，但其低资源特性和复杂的语言现象（如连音、音节融合、形态变化、复合词和多义词）使得传统自然语言处理方法难以直接应用。本研究旨在测试跨时代词嵌入技术是否适用于追踪梵文文献中的语义变化。

方法与实验

1. 语料库构建：研究者收集了涵盖四个经典时期的270万词符语料库。
2. 词边界恢复：使用神经字节级连音分割器和词形还原器处理梵文的连音现象，恢复词边界。
3. 词嵌入训练：在不同配置下训练跨时期的词嵌入模型。
4. 验证与测试：通过历史学术成果构建验证集，并使用锚点位移法进行方向性测试。

主要发现

• 在21个可测试的语义变化中，有19个符合文献记载的方向（符号检验，p=0.00011），表明该方法在梵文语义变化追踪中具有较高的准确性。
• 研究还发现，梵文的语言特性（如连音和形态变化）对模型配置有显著影响，需要特定的调整才能获得最佳效果。

未来工作与改进方向

• 进一步优化词边界恢复方法，以处理更复杂的语言现象。
• 探索更先进的词嵌入技术，如上下文敏感的嵌入模型。
• 扩展语料库规模，以涵盖更多时期和更广泛的文献类型。

行业影响与开发者建议

• 对研究人员的启示：本研究展示了跨时代词嵌入技术在低资源语言中的应用潜力，为类似语言的语义变化研究提供了参考。
• 对开发者的建议：在处理类似梵文的低资源语言时，应特别注意语言特性对模型的影响，并考虑使用特定的语言处理工具和技术。
• 对AI领域的意义：这项研究为AI在低资源语言处理中的应用提供了新的思路，推动了跨语言和跨文化研究的发展。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-23)

—— 完 ——

主题标签： #arXiv 关注 #NLP 关注 #梵文 关注 #语义变化 关注 #低资源语言 关注