智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #多语言NLP #波斯语 #代码混合 #LLM #语料库

PERCEPT:首个大规模波斯语-英语代码混合语料库发布,赋能多语言NLP研究

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 20 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:PERCEPT是首个公开的大规模波斯语-英语代码混合语料库,标注了通用依存关系(UD)词性(POS)标签。该语料库包含6800条来自X、Instagram和Digikala的社交媒体帖子,并采用大语言模型辅助的自动标注框架,确保了标注的高可靠性。PERCEPT的发布填补了波斯语-英语代码混合语言资源匮乏的空白,为多语言NLP模型开发及语言学分析提供了重要支持。


波斯语-英语代码混合语料库PERCEPT发布

核心突破

  • 首个大规模波斯语-英语代码混合语料库:PERCEPT是首个公开的、标注了通用依存关系(UD)词性(POS)标签的波斯语-英语代码混合语料库,填补了该领域的空白。
  • 多平台数据来源:数据来源于X、Instagram和Digikala等社交媒体平台,涵盖了多种互动场景。
  • LLM辅助标注框架:采用大语言模型辅助的自动标注方法,确保了标注的高准确性和一致性。

技术亮点

  • 数据规模与质量:6800条高质量标注数据,为多语言NLP研究提供了丰富的资源。
  • 标注可靠性:通过人工评估,PERCEPT的自动标注结果与黄金标准标注高度一致,证明了其可靠性。
  • 多维度分析:基于PERCEPT,研究人员首次对波斯语-英语代码混合现象进行了多平台、多维度的语言学分析,揭示了不同平台的语言使用模式差异。

行业影响

  • 多语言NLP模型开发:PERCEPT为开发更精准的波斯语-英语代码混合NLP模型提供了关键数据支持。
  • 语言学研究:为波斯语-英语代码混合现象的语言学分析提供了新的视角和研究工具。
  • 跨文化交流:促进波斯语和英语之间的跨文化交流与理解。

开发者建议

  • 数据应用:建议NLP研究人员和开发者利用PERCEPT进行模型训练和评估,提升代码混合语言处理的性能。
  • 扩展研究:鼓励基于PERCEPT进行更深入的语言学和社会语言学研究,探索代码混合现象的更多维度。

原文出处

https://github.com/kalhorghazal/PERCEPT


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-12)

—— 完 ——

主题标签: #多语言NLP #波斯语 #代码混合 #LLM #语料库

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…