智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #Agnes-AI #多模态模型 #长上下文窗口

Agnes-AI发布Agnes-3.0-Flash:支持262144上下文窗口的多模态大模型

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Agnes-AI推出了其最新多模态大语言模型Agnes-3.0-Flash,该模型具备262144个token的上下文窗口,支持文本、图像和视频理解,并采用混合注意力机制架构。其独特之处在于每四层中三层的门控增量规则(recurrent)与标准全局注意力交替运行,从而有效减少KV缓存的存储需求。此外,该模型还支持可调节的推理强度和工具调用功能,展现出在复杂任务处理中的潜力。


Agnes-AI发布Agnes-3.0-Flash:支持262144上下文窗口的多模态大模型

近日,Agnes-AI推出了一款名为Agnes-3.0-Flash的多模态大语言模型(LLM),该模型在多个技术维度上实现了突破性进展。以下是模型的核心特点与技术亮点:

技术亮点

  1. 超长上下文窗口:Agnes-3.0-Flash支持高达262144个token的上下文窗口,使其在处理长文本任务时具备显著优势。

  2. 混合注意力机制:模型采用混合注意力解码器架构,每四层中三层的门控增量规则(recurrent)与标准全局注意力交替运行。这种设计不仅提高了计算效率,还减少了KV缓存的存储需求。

  3. 多模态支持:Agnes-3.0-Flash能够理解文本、图像和视频内容,使其在多模态任务处理中表现出色。

  4. 可调节推理强度:模型支持根据任务需求调整推理强度,从而在精度和效率之间取得平衡。

  5. 工具调用功能:Agnes-3.0-Flash集成了工具调用功能,能够在处理复杂任务时调用外部工具以增强其能力。

架构细节

  • 上下文长度:262144 tokens
  • 解码器层数:72层(54层门控增量规则 + 18层全局注意力)
  • 隐藏层大小:5120
  • 全局注意力头数:24个查询头 / 4个KV头
  • 前馈网络:SwiGLU,隐层大小17408
  • 位置编码:3轴旋转位置编码(文本/高度/宽度)

行业影响

Agnes-3.0-Flash的发布标志着多模态大模型在处理复杂任务方面的进一步发展。其超长上下文窗口和多模态支持使其在智能体任务处理、复杂文档解析以及多模态交互等领域具有广泛的应用潜力。对于开发者而言,该模型提供了一个强大的工具,可以用于构建更智能、更高效的应用。

开发者建议

  • 多模态应用开发:利用Agnes-3.0-Flash的多模态处理能力,开发支持文本、图像和视频的应用。
  • 长文本处理:在需要处理长文本的任务中,Agnes-3.0-Flash的超长上下文窗口可以显著提升处理效率。
  • 工具集成:结合工具调用功能,开发能够调用外部工具以增强模型能力的应用。

结论

Agnes-3.0-Flash的发布展示了Agnes-AI在多模态大模型领域的创新能力,为开发者提供了强大的技术支持,推动了AI技术在复杂任务处理中的应用发展。


消息来源:Reddit r/LocalLLaMA (2026-09-12)

—— 完 ——

主题标签: #Agnes-AI #多模态模型 #长上下文窗口

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…