ArXiv提出ComposeGait框架:革新步态检索中的身份锚定与自然语言交互
摘要:ArXiv团队提出了一种名为ComposeGait的新框架,用于解决步态检索任务中的身份漂移问题。该框架通过引入身份锚定机制和Part-aware Identity Adapter (PIA),将多帧、部件感知身份证据聚合为样本特定的ID token,并将其注入共享的Q-Former分支中以保留身份信息,同时避免ID token影响最终检索结果。ComposeGait在Language-Augmented CCPG和Language-Augmented CASIA-B两个基准测试中均表现出色,分别达到了72.38%和83.61%的R@1准确率,为步态检索领域提供了新的技术路径。
核心突破
ArXiv团队提出了一种名为ComposeGait的新框架,旨在解决步态检索任务中的身份漂移问题。传统方法在处理自然语言指令时,往往难以保持身份一致性,而ComposeGait通过以下创新机制解决了这一问题:
- 身份锚定机制:通过引入身份锚定机制,确保在执行自然语言指令时,检索结果始终与目标身份保持一致。
- Part-aware Identity Adapter (PIA):PIA模块将多帧、部件感知身份证据聚合为样本特定的ID token,从而实现对身份信息的精细化建模。
- 共享Q-Former架构:将ID token注入共享的Q-Former分支中,以保留身份信息,同时避免ID token影响最终检索结果。
技术亮点
- 自动化标注流程:利用大型视觉-语言模型(VLMs)构建了首个步态-语言数据集Language-Augmented CCPG和Language-Augmented CASIA-B,为研究提供了高质量的训练数据。
- 联合优化目标:通过联合身份和任务适配的检索目标,实现了端到端的优化,提升了模型的泛化能力。
- 性能表现:在Language-Augmented CCPG和Language-Aug曲B基准测试中,ComposeGait的R@1准确率分别达到了72.38%和83.61%,显著超越了现有方法。
行业影响
ComposeGait框架的提出,为步态识别领域带来了新的技术突破,特别是在需要结合自然语言指令进行交互式检索的场景中具有重要意义。其在身份保持和检索精度方面的优异表现,使其成为未来研究和应用的重要基础。此外,该框架的自动化标注流程和数据构建方法,也为其他多模态任务的数据集构建提供了参考。
开发者建议
- 数据集构建:开发者可以利用类似的方法构建其他多模态任务的数据集,以提升模型性能。
- 模型优化:在处理身份敏感任务时,可以借鉴ComposeGait的身份锚定机制,以提升模型的鲁棒性。
- 跨领域应用:该框架的思路可以扩展到其他需要结合自然语言指令进行检索的任务中,如视频检索、图像检索等。
—— 完 ——消息来源:ArXiv cs.CV (2026-08-27)
主题标签: #步态识别 #多模态AI #身份锚定 #自然语言处理 #ArXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区