Google Research发布ScreenAI:面向UI与信息图表的视觉语言模型
摘要:Google Research推出了一款名为ScreenAI的视觉语言模型,旨在解决用户界面(UI)和信息图表(如图表、表格等)的理解与交互问题。ScreenAI基于PaLI架构,并引入了pix2struct的灵活补丁策略,通过创新的Screen Annotation任务和混合数据集训练,实现了在UI和图表理解任务上的突破性性能提升。该模型在多个基准测试中表现出色,并支持UI导航、问答和内容总结等应用场景。Google同时发布了三个新数据集以促进相关领域的研究。
谷歌发布ScreenAI:面向UI与信息图表的视觉语言模型
近日,Google Research推出了一款名为ScreenAI的视觉语言模型,旨在解决用户界面(UI)和信息图表(如图表、表格等)的理解与交互问题。ScreenAI基于PaLI架构,并引入了pix2struct的灵活补丁策略,通过创新的Screen Annotation任务和混合数据集训练,实现了在UI和图表理解任务上的突破性性能提升。
主要技术亮点
-
架构创新:ScreenAI采用PaLI架构,包含一个多模态编码器和一个自回归解码器。其编码器使用视觉Transformer(ViT)生成图像嵌入,并与文本嵌入结合进行多模态处理。
-
灵活的补丁策略:借鉴pix2struct的补丁策略,ScreenAI能够根据输入图像的原始宽高比调整网格尺寸,从而在处理不同比例的图像时表现优异。
-
多阶段训练:模型训练分为预训练和微调两个阶段。预训练阶段使用自监督学习生成数据标签,而微调阶段则依赖于人工标注的数据。
-
数据集与任务:ScreenAI的训练数据包括从桌面、移动设备等收集的屏幕截图,并使用DETR模型进行布局标注。此外,还引入了PaLI图像字幕模型和OCR技术以生成更丰富的描述。
-
性能表现:在多个基准测试中,ScreenAI表现出色,例如在WebSRC、MoTIF、ChartQA、DocVQA等任务中均达到或超过同类模型的最佳水平。
数据集发布
Google同时发布了三个新数据集:
- Screen Annotation:用于评估模型对布局的理解能力。
- ScreenQA Short:ScreenQA的简化版本,答案更简洁。
- Complex ScreenQA:包含更复杂的问题(如计数、算术、比较和不可回答的问题),并支持多分辨率屏幕。
应用场景
ScreenAI能够支持多种应用场景,包括:
- UI导航:将自然语言指令转换为屏幕上的可执行操作。
- 问答系统:回答与屏幕内容相关的问题。
- 内容总结:对屏幕内容进行简要总结。
行业影响与开发者建议
ScreenAI的发布标志着AI在UI和图表理解领域的重大进展,为智能助手、自动化工具和数据分析应用提供了新的可能性。开发者可以利用ScreenAI构建更智能、更直观的用户界面交互系统,同时借助新发布的数据集进行模型优化和扩展研究。
对于希望利用ScreenAI的开发者,建议关注以下几点:
- 数据集的使用:充分利用新发布的数据集进行模型训练和评估。
- 任务定制化:根据具体应用场景对模型进行微调,以提升特定任务的性能。
结论
ScreenAI展示了AI在处理复杂视觉和语言任务中的巨大潜力,为多模态AI应用开辟了新的方向。未来,随着模型规模的进一步扩大和训练技术的改进,ScreenAI有望在更多领域展现其强大的应用价值。
—— 完 ——消息来源:Google AI Research (2024-03-19)
主题标签: #Google Research #ScreenAI #视觉语言模型 #UI理解 #信息图表
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区