arXiv发布低资源语言仇恨言论分类研究:PEFT与提示工程方法对比
摘要:本研究聚焦于低资源语言罗马乌尔都语的仇恨言论分类问题,针对互联网和社交媒体中日益增长的仇恨内容提出解决方案。研究比较了多种高效技术,包括基于LoRA的参数高效微调(PEFT)、提示调优以及零样本和少样本学习的提示工程方法。通过四组实验,研究评估了这些方法在有限数据条件下的表现,为低资源语言中的AI应用提供了新的见解和技术路径。
研究背景与挑战
随着互联网和社交媒体的普及,仇恨言论内容呈指数级增长,对社会造成严重影响。罗马乌尔都语作为一种低资源语言,因其非正式语法、不一致的句子结构和拼写变体,为仇恨言论分类带来了额外挑战。
研究方法
本研究设计了四组实验以评估不同方法的有效性:
- 零样本推理实验:直接使用大语言模型(LLMs)进行推理,不进行任何微调,以评估模型在零样本条件下的理解能力。
- 参数高效微调(PEFT)实验:采用LoRA技术,仅更新模型的一小部分参数,降低计算成本。
- 提示调优实验:使用混合和手动设计的提示,并结合少量训练样本进行调优,以实现计算效率与性能的平衡。
- 提示工程实验:通过零样本和少样本学习,仅依赖精心设计的指令提示进行分类,不进行额外训练。
主要发现
- PEFT与提示工程的结合:在有限数据条件下,PEFT与提示工程的结合表现出色,能够在保持较低计算成本的同时实现较高的分类准确率。
- 零样本推理的局限性:尽管LLMs在零样本条件下对罗马乌尔都语有一定理解能力,但性能不如微调后的模型。
- 提示设计的灵活性:提示工程方法在处理复杂句子结构和拼写变体时表现出色,展示了其在低资源语言应用中的潜力。
行业影响与开发者建议
- 低资源语言AI应用:本研究为低资源语言中的AI应用提供了新的技术路径,特别是在资源有限的情况下。
- 模型选择与优化:开发者应根据具体应用场景选择合适的模型优化方法,PEFT和提示工程在不同场景下各有优势。
- 数据效率提升:通过PEFT和提示工程,开发者可以显著减少对大量标注数据的需求,提升模型训练效率。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-08-25)
主题标签: #低资源语言 #仇恨言论分类 #PEFT #提示工程 #大语言模型
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区