智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #语音识别 #低资源语言 #LoRA #Whisper #领域自适应

SpeakPay:基于LoRA微调的Whisper模型实现尼泊尔低资源金融语音识别

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 11 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:SpeakPay是一款针对尼泊尔低资源金融语音识别优化的语音优先数字钱包系统。该研究提出了一种基于LoRA微调的Whisper模型,并引入了NepFinSpeech-403数据集,包含403条尼泊尔金融语音指令。实验结果表明,领域自适应模型将单词错误率从129.95%降至42.58%,显著提升了德瓦纳加里数字识别准确率(从0%提升至73.9%),并将交易成功率从1.67%提升至33.33%。该系统已作为公开可访问的Web应用部署,并开源了代码、数据集和模型权重,为低资源语言的语音识别研究提供了重要参考。


研究背景与动机

尼泊尔移动支付应用主要依赖图形界面,这对视障用户来说存在显著障碍。为解决这一问题,研究团队开发了SpeakPay——一款语音优先的数字钱包系统,并提出了一种针对低资源金融语音识别的领域自适应方法。

技术方法与创新

  1. 数据集构建:团队构建了NepFinSpeech-403数据集,包含403条尼泊尔金融语音指令,涵盖发送、加载和余额查询等操作,涉及237个独特的数字。
  2. 模型微调:基于Whisper large-v2模型,使用LoRA(低秩适应)技术进行微调,以适应尼泊尔金融领域的特定需求。
  3. 实验结果:
    • 单词错误率(WER):从129.95%(零样本基线)降至42.58%,相对减少67.2%。
    • 德瓦纳加里数字识别准确率:从0%提升至73.9%。
    • 交易成功率:从1.67%提升至33.33%,提升约20倍。
  4. 数据效率分析:仅需100条领域特定语音指令即可将零样本WER减半,性能在300条样本左右趋于稳定。
  5. 错误分析:识别出数字插入/删除、前缀幻觉等系统性错误模式,这些模式占交易失败的主要原因。

系统部署与开源

SpeakPay系统已作为公开可访问的Web应用部署,所有代码、数据集和模型权重均已开源,地址为 GitHub链接。

行业影响与未来展望

该研究展示了低资源语言语音识别领域的巨大潜力,特别是在金融应用场景中。领域自适应技术的成功应用为其他低资源语言提供了可借鉴的经验。此外,开源发布将促进更多研究人员和开发者参与,进一步推动语音识别技术的普及和发展。

开发者建议

  • 领域数据的重要性:在低资源语言应用中,领域特定数据对模型性能提升至关重要。
  • LoRA微调的优势:LoRA技术提供了一种高效且轻量级的微调方法,适用于资源受限的环境。
  • 错误模式分析:深入分析模型错误模式有助于针对性地改进模型性能。

消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-03)

—— 完 ——

主题标签: #语音识别 #低资源语言 #LoRA #Whisper #领域自适应

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…