ArXiv研究:专家指导技能提示与微调提升中文隐喻识别跨数据集稳定性
摘要:ArXiv发布了一项关于中文句子级隐喻识别的新研究,比较了四种方法:BERT微调(BERT-FT)、基于QLoRA的大语言模型微调(LLM-FT)、直接零样本大语言模型提示(LLM-ZS)以及使用固定专家指导技能(Skill-ZS)的零样本提示。研究发现,尽管微调在原生测试集上表现最佳,但Skill-ZS方法在跨数据集性能上更为均衡,其跨数据集表现范围最小(4.08点),且在外部数据集上表现接近LLM-FT(82.92 vs 83.52 Macro-F1)。这项研究首次在同一跨数据集评估中比较了专家指导技能提示与任务特定微调,为中文隐喻识别提供了新的技术路径。
研究背景与动机
在自然语言处理(NLP)中,隐喻识别是一项具有挑战性的任务,其性能在不同数据集之间可能存在显著差异。这种差异通常源于文本分布和注释策略的不同。为了解决这一问题,ArXiv的研究团队提出了一种专家指导的技能提示方法(Skill-ZS),并将其与传统的微调方法进行了比较。
方法与实验
研究团队设计了四种方法进行比较:
- BERT微调(BERT-FT):使用BERT模型进行任务特定的微调。
- 基于QLoRA的大语言模型微调(LLM-FT):利用QLoRA技术对大语言模型进行微调。
- 直接零样本大语言模型提示(LLM-ZS):在不进行微调的情况下,直接使用大语言模型进行零样本提示。
- 使用固定专家指导技能(Skill-ZS)的零样本提示:通过专家指导的技能提示方法进行零样本推理。
实验在CMRE Test、CCIME和CMC三个数据集上进行。结果表明,微调方法在原生测试集上表现最佳,其中BERT-FT达到了91.76的Macro-F1。然而,在跨数据集性能上,Skill-ZS方法表现更为均衡,其跨数据集表现范围最小(4.08点),且在外部数据集上表现接近LLM-FT(82.92 vs 83.52 Macro-F1)。
主要发现
- 微调的优势:在原生测试集上,微调方法(如BERT-FT和LLM-FT)表现最佳。
- Skill-ZS的跨数据集稳定性:Skill-ZS方法在跨数据集性能上更为均衡,表现出较小的表现范围。
- 错误分析:Skill-ZS方法在CCIME数据集上显著降低了误报率,但在CMRE Test和CMC数据集上增加了漏报率。
行业影响与未来方向
这项研究首次在同一跨数据集评估中比较了专家指导技能提示与任务特定微调,为中文隐喻识别提供了新的技术路径。Skill-ZS方法展示了其在跨数据集性能上的潜力,特别是在处理不同文本分布和注释策略时。未来,研究可以进一步优化Skill-ZS方法,并探索其在其他NLP任务中的应用。
—— 完 ——消息来源:ArXiv cs.CL (2026-08-26)
主题标签: #ArXiv #中文隐喻识别 #大语言模型 #微调 #专家指导技能
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区