智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Google Research #ScreenAI #视觉语言模型 #UI理解 #信息图表

Google Research发布ScreenAI:面向UI与信息图表的视觉语言模型

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Google Research推出了一款名为ScreenAI的视觉语言模型,旨在解决用户界面(UI)和信息图表(如图表、表格等)的理解与交互问题。ScreenAI基于PaLI架构,并引入了pix2struct的灵活补丁策略,通过创新的Screen Annotation任务和混合数据集训练,实现了在UI和图表理解任务上的突破性性能提升。该模型在多个基准测试中表现出色,并支持UI导航、问答和内容总结等应用场景。Google同时发布了三个新数据集以促进相关领域的研究。


谷歌发布ScreenAI:面向UI与信息图表的视觉语言模型

近日,Google Research推出了一款名为ScreenAI的视觉语言模型,旨在解决用户界面(UI)和信息图表(如图表、表格等)的理解与交互问题。ScreenAI基于PaLI架构,并引入了pix2struct的灵活补丁策略,通过创新的Screen Annotation任务和混合数据集训练,实现了在UI和图表理解任务上的突破性性能提升。

主要技术亮点

  1. 架构创新:ScreenAI采用PaLI架构,包含一个多模态编码器和一个自回归解码器。其编码器使用视觉Transformer(ViT)生成图像嵌入,并与文本嵌入结合进行多模态处理。

  2. 灵活的补丁策略:借鉴pix2struct的补丁策略,ScreenAI能够根据输入图像的原始宽高比调整网格尺寸,从而在处理不同比例的图像时表现优异。

  3. 多阶段训练:模型训练分为预训练和微调两个阶段。预训练阶段使用自监督学习生成数据标签,而微调阶段则依赖于人工标注的数据。

  4. 数据集与任务:ScreenAI的训练数据包括从桌面、移动设备等收集的屏幕截图,并使用DETR模型进行布局标注。此外,还引入了PaLI图像字幕模型和OCR技术以生成更丰富的描述。

  5. 性能表现:在多个基准测试中,ScreenAI表现出色,例如在WebSRC、MoTIF、ChartQA、DocVQA等任务中均达到或超过同类模型的最佳水平。

数据集发布

Google同时发布了三个新数据集:

  • Screen Annotation:用于评估模型对布局的理解能力。
  • ScreenQA Short:ScreenQA的简化版本,答案更简洁。
  • Complex ScreenQA:包含更复杂的问题(如计数、算术、比较和不可回答的问题),并支持多分辨率屏幕。

应用场景

ScreenAI能够支持多种应用场景,包括:

  • UI导航:将自然语言指令转换为屏幕上的可执行操作。
  • 问答系统:回答与屏幕内容相关的问题。
  • 内容总结:对屏幕内容进行简要总结。

行业影响与开发者建议

ScreenAI的发布标志着AI在UI和图表理解领域的重大进展,为智能助手、自动化工具和数据分析应用提供了新的可能性。开发者可以利用ScreenAI构建更智能、更直观的用户界面交互系统,同时借助新发布的数据集进行模型优化和扩展研究。

对于希望利用ScreenAI的开发者,建议关注以下几点:

  • 数据集的使用:充分利用新发布的数据集进行模型训练和评估。
  • 任务定制化:根据具体应用场景对模型进行微调,以提升特定任务的性能。

结论

ScreenAI展示了AI在处理复杂视觉和语言任务中的巨大潜力,为多模态AI应用开辟了新的方向。未来,随着模型规模的进一步扩大和训练技术的改进,ScreenAI有望在更多领域展现其强大的应用价值。


消息来源:Google AI Research (2024-03-19)

—— 完 ——

主题标签: #Google Research #ScreenAI #视觉语言模型 #UI理解 #信息图表

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…