arXiv发布首个尼泊尔主导多模态OOC基准NepOOC-M:助力多模态虚假信息检测
摘要:arXiv发布了一篇关于尼泊尔主导的多模态OOC(Out-of-Context)虚假信息检测的研究论文,并首次公开了名为NepOOC-M的基准数据集。该数据集包含1090对图像-字幕对,涵盖五种OOC类型,并具有较高的标注一致性(kappa=0.84)。研究通过系统评估五种多模态架构,发现当前数据集规模下,字幕语义信息足以实现强大的检测性能,文本模型mBERT的Macro-F1得分达到94.65%,与最佳多模态系统性能相当。研究指出,数据集扩展是提升检测性能的关键路径,而非模型架构的复杂化或区域专业化。
研究背景与动机
在尼泊尔,OOC(Out-of-Context)虚假信息问题日益严重,其通过将真实图像与误导性字幕结合,构建虚假叙事,而无需对图像本身进行篡改。这种现象对多模态对齐技术提出了挑战,而非传统的图像取证技术。然而,目前尚无针对尼泊尔语的公开OOC基准数据集,这限制了相关研究的开展。
NepOOC-M数据集
本论文首次公开了NepOOC-M数据集,这是首个以尼泊尔语为主的多模态OOC基准数据集,包含1090对图像-字幕对,涵盖五种OOC类型:
- 伪造(Fabricated)
- 字幕错误(Miscaptioned)
- 时间错配(Temporal Mismatch)
- 地理错配(Geographic Mismatch)
- 身份错配(Identity Mismatch)
数据集的标注一致性较高,kappa值为0.84,表明标注结果具有较高的一致性和可靠性。
模型评估与发现
研究对五种多模态架构进行了系统评估,并与仅文本和仅图像的基线模型进行了对比。结果表明:
- 文本模型表现优异:仅文本的mBERT模型在当前数据集规模下表现优异,Macro-F1得分达到94.65%,与最佳多模态系统(ResNet-50+mBERT)相当。
- 图像模型表现不佳:仅图像的模型表现接近随机水平(33-50%),表明图像信息在当前任务中贡献有限。
- 数据集扩展是关键:研究指出,数据集扩展是提升检测性能的关键路径,而非模型架构的复杂化或区域专业化。
行业影响与建议
- 多模态研究的新方向:NepOOC-M数据集的发布为多模态虚假信息检测研究提供了新的资源和方向,尤其在资源稀缺语言领域。
- 模型优化建议:对于多模态模型开发者,建议关注字幕语义信息的利用,并探索更高效的数据集扩展策略。
- 跨领域应用潜力:该研究的方法和发现可推广至其他多模态任务,如多语言图像描述、跨文化内容分析等。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-21)
主题标签: #多模态 #虚假信息检测 #尼泊尔语 #基准数据集 #mBERT
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区