智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #低资源语言 #仇恨言论分类 #PEFT #提示工程 #大语言模型

arXiv发布低资源语言仇恨言论分类研究:PEFT与提示工程方法对比

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本研究聚焦于低资源语言罗马乌尔都语的仇恨言论分类问题,针对互联网和社交媒体中日益增长的仇恨内容提出解决方案。研究比较了多种高效技术,包括基于LoRA的参数高效微调(PEFT)、提示调优以及零样本和少样本学习的提示工程方法。通过四组实验,研究评估了这些方法在有限数据条件下的表现,为低资源语言中的AI应用提供了新的见解和技术路径。


研究背景与挑战

随着互联网和社交媒体的普及,仇恨言论内容呈指数级增长,对社会造成严重影响。罗马乌尔都语作为一种低资源语言,因其非正式语法、不一致的句子结构和拼写变体,为仇恨言论分类带来了额外挑战。

研究方法

本研究设计了四组实验以评估不同方法的有效性:

  1. 零样本推理实验:直接使用大语言模型(LLMs)进行推理,不进行任何微调,以评估模型在零样本条件下的理解能力。
  2. 参数高效微调(PEFT)实验:采用LoRA技术,仅更新模型的一小部分参数,降低计算成本。
  3. 提示调优实验:使用混合和手动设计的提示,并结合少量训练样本进行调优,以实现计算效率与性能的平衡。
  4. 提示工程实验:通过零样本和少样本学习,仅依赖精心设计的指令提示进行分类,不进行额外训练。

主要发现

  • PEFT与提示工程的结合:在有限数据条件下,PEFT与提示工程的结合表现出色,能够在保持较低计算成本的同时实现较高的分类准确率。
  • 零样本推理的局限性:尽管LLMs在零样本条件下对罗马乌尔都语有一定理解能力,但性能不如微调后的模型。
  • 提示设计的灵活性:提示工程方法在处理复杂句子结构和拼写变体时表现出色,展示了其在低资源语言应用中的潜力。

行业影响与开发者建议

  • 低资源语言AI应用:本研究为低资源语言中的AI应用提供了新的技术路径,特别是在资源有限的情况下。
  • 模型选择与优化:开发者应根据具体应用场景选择合适的模型优化方法,PEFT和提示工程在不同场景下各有优势。
  • 数据效率提升:通过PEFT和提示工程,开发者可以显著减少对大量标注数据的需求,提升模型训练效率。

消息来源:ArXiv AI (cs.AI) (2026-08-25)

—— 完 ——

主题标签: #低资源语言 #仇恨言论分类 #PEFT #提示工程 #大语言模型

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…