智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多模态 #虚假信息检测 #尼泊尔语 #基准数据集 #mBERT

arXiv发布首个尼泊尔主导多模态OOC基准NepOOC-M:助力多模态虚假信息检测

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 12 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一篇关于尼泊尔主导的多模态OOC(Out-of-Context)虚假信息检测的研究论文,并首次公开了名为NepOOC-M的基准数据集。该数据集包含1090对图像-字幕对,涵盖五种OOC类型,并具有较高的标注一致性(kappa=0.84)。研究通过系统评估五种多模态架构,发现当前数据集规模下,字幕语义信息足以实现强大的检测性能,文本模型mBERT的Macro-F1得分达到94.65%,与最佳多模态系统性能相当。研究指出,数据集扩展是提升检测性能的关键路径,而非模型架构的复杂化或区域专业化。


研究背景与动机

在尼泊尔,OOC(Out-of-Context)虚假信息问题日益严重,其通过将真实图像与误导性字幕结合,构建虚假叙事,而无需对图像本身进行篡改。这种现象对多模态对齐技术提出了挑战,而非传统的图像取证技术。然而,目前尚无针对尼泊尔语的公开OOC基准数据集,这限制了相关研究的开展。

NepOOC-M数据集

本论文首次公开了NepOOC-M数据集,这是首个以尼泊尔语为主的多模态OOC基准数据集,包含1090对图像-字幕对,涵盖五种OOC类型:

  • 伪造(Fabricated)
  • 字幕错误(Miscaptioned)
  • 时间错配(Temporal Mismatch)
  • 地理错配(Geographic Mismatch)
  • 身份错配(Identity Mismatch)

数据集的标注一致性较高,kappa值为0.84,表明标注结果具有较高的一致性和可靠性。

模型评估与发现

研究对五种多模态架构进行了系统评估,并与仅文本和仅图像的基线模型进行了对比。结果表明:

  • 文本模型表现优异:仅文本的mBERT模型在当前数据集规模下表现优异,Macro-F1得分达到94.65%,与最佳多模态系统(ResNet-50+mBERT)相当。
  • 图像模型表现不佳:仅图像的模型表现接近随机水平(33-50%),表明图像信息在当前任务中贡献有限。
  • 数据集扩展是关键:研究指出,数据集扩展是提升检测性能的关键路径,而非模型架构的复杂化或区域专业化。

行业影响与建议

  • 多模态研究的新方向:NepOOC-M数据集的发布为多模态虚假信息检测研究提供了新的资源和方向,尤其在资源稀缺语言领域。
  • 模型优化建议:对于多模态模型开发者,建议关注字幕语义信息的利用,并探索更高效的数据集扩展策略。
  • 跨领域应用潜力:该研究的方法和发现可推广至其他多模态任务,如多语言图像描述、跨文化内容分析等。

消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-21)

—— 完 ——

主题标签: #多模态 #虚假信息检测 #尼泊尔语 #基准数据集 #mBERT

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…