智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Transformer #稀疏注意力 #AI初创公司 #AI推理 #AI效率

AI新引擎:初创公司探索Transformer替代方案

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:MIT Technology Review深入探讨了AI领域的新趋势,指出Transformer架构正面临瓶颈,而多家初创公司正积极探索稀疏注意力、滚动记忆、扩散生成等创新技术,以期突破现有局限。这些技术有望带来更高效、更智能的AI模型,为AI行业带来新的变革。


AI新引擎:初创公司探索Transformer替代方案

核心问题:Transformer的瓶颈

Transformer架构自2017年由Google提出以来,已成为AI领域的核心驱动力,支撑着当今几乎所有大型语言模型(LLM)。然而,随着AI模型的不断演进,Transformer的局限性也日益凸显:

  • 计算成本高昂:Transformer的密集注意力机制需要大量的计算资源,导致能耗巨大。例如,OpenAI今年预计将在计算上花费500亿美元。
  • 扩展性不足:Transformer在处理长文本时表现不佳,其上下文窗口难以扩展,难以应对日益复杂的任务需求。
  • 推理能力受限:Transformer在某些推理任务上表现不佳,例如解决复杂的数独难题。

创新解决方案:四大突破方向

面对Transformer的瓶颈,多家初创公司正在探索全新的解决方案,主要集中在以下四个方向:

  1. 稀疏注意力机制

    • 代表公司:Subquadratic
    • 技术亮点:Subquadratic开发了一种新型稀疏注意力机制,仅对文本中部分词对进行计算,从而大幅降低计算成本。该公司声称其模型在搜索和编码等任务上可与主流LLM媲美。
  2. 滚动记忆与保留机制

    • 代表公司:Manifest AI
    • 技术亮点:Manifest AI提出了“权力保留”机制,通过存储任务相关的重要信息,并动态更新上下文窗口中的内容,避免了Transformer在处理长文本时的效率问题。该公司已将这一技术应用于开源模型StarCoder,推出了PowerCoder版本,并发布了名为Brumby的模型,声称其性能可与阿里巴巴的Qwen模型媲美。
  3. 基于扩散的文本生成

    • 代表公司:Inception
    • 技术亮点:Inception利用扩散技术生成文本,这种方法通常用于图像和视频生成。通过一次性生成整段文本,Inception的模型比传统Transformer模型快10倍,且性能可与GPT-4媲美。
  4. 超越语言的推理模型

    • 代表公司:Pathway
    • 技术亮点:Pathway开发了一种名为Dragon Hatchling的模型,采用状态空间代替注意力机制,能够处理非语言形式的推理任务,例如解决复杂的数独难题。该模型在相关基准测试中表现优异,展示了AI在超越语言推理方面的潜力。

行业影响与未来展望

这些创新技术不仅有望解决Transformer的瓶颈问题,还可能彻底改变AI模型的构建方式,为AI行业带来新的发展机遇:

  • 更高效的AI模型:通过降低计算成本和能耗,这些新技术将使AI模型更易于部署和扩展。
  • 更强的推理能力:超越语言的推理模型将拓展AI的应用场景,推动AI在更多领域的深入应用。
  • AI生态的多样化:初创公司的创新将推动AI生态的多样化发展,为AI行业注入新的活力。

对于开发者而言,关注这些新兴技术趋势,及时跟进相关进展,将有助于在未来的AI领域占据有利位置。

原文链接:MIT Technology Review

—— 完 ——

主题标签: #Transformer #稀疏注意力 #AI初创公司 #AI推理 #AI效率

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…