初创公司探索大语言模型（LLMs）的下一代技术突破

摘要：MIT Technology Review 的‘未来展望’系列文章探讨了当前大语言模型（LLMs）面临的瓶颈问题，包括计算成本高、能耗大以及难以处理复杂任务等。一批初创公司正在探索稀疏注意力机制、滚动摘要记忆、基于扩散的文本生成以及受蠕虫大脑启发的网络等创新技术，试图突破现有LLMs的局限。这些技术有望显著提升模型效率、降低计算成本，并推动AI在更复杂任务中的应用。

---

下一代大语言模型的挑战与突破

1. Transformer架构的瓶颈

Transformer架构作为当前主流大语言模型（LLMs）的核心，自2017年提出以来推动了AI领域的快速发展。然而，随着模型规模不断扩大，Transformer的局限性逐渐显现：

• 计算成本高昂：处理长文本时，Transformer需要进行大量计算，导致能耗和成本急剧上升。
• 效率低下：由于其对每个词进行密集注意力计算，Transformer在处理长序列时效率低下，难以满足日益复杂的任务需求。
• 上下文窗口限制：Transformer的上下文窗口有限，难以处理大规模数据输入，限制了其在复杂推理任务中的应用。

2. 初创公司的创新解决方案

面对Transformer的瓶颈，一批初创公司正在探索全新的LLM架构：

• 稀疏注意力机制（Subquadratic）：通过只关注文本中部分重要的词对，稀疏注意力机制大幅减少了计算量，同时保持了较高的语义捕捉能力。
• 滚动摘要记忆（Manifest AI）：该方法通过存储和更新上下文中的关键信息，避免了对所有信息的持续跟踪，从而提高了模型的效率。
• 基于扩散的文本生成（Inception）：借鉴图像生成领域的扩散模型，Inception开发了基于扩散的文本生成技术，能够一次性生成整段文本，显著提升了生成速度。
• 受蠕虫大脑启发的网络（Liquid AI）：Liquid AI开发的液体神经网络模型，借鉴了蠕虫大脑的适应性机制，能够在运行时动态调整模型行为，提升了模型的灵活性和学习能力。

3. 超越语言的推理模型

Pathway公司开发的Dragon Hatchling模型，通过引入状态空间结构，尝试超越传统的语言推理方式。该模型不仅能够处理文本，还能模拟非语言形式的推理，例如解决数独难题。这种方法展示了AI在处理复杂任务方面的潜力，并为未来AI模型的开发提供了新的思路。

行业影响与未来展望

这些创新技术有望解决当前LLMs面临的诸多挑战，推动AI在以下方面的进步：

• 效率提升：通过降低计算成本和能耗，AI模型的部署和应用将更加广泛。
• 性能增强：新架构将提升模型在复杂任务上的表现，例如长文本处理和多模态数据融合。
• 应用拓展：AI将能够处理更多类型的任务，从科学研究到工业应用，进一步拓展其应用领域。

开发者建议

• 关注新兴架构：开发者应密切关注这些新兴的LLM架构，评估其对自身项目的适用性。
• 实验与验证：在项目中使用这些新技术进行实验，验证其性能提升效果。
• 关注开源项目：许多初创公司计划开源其模型，开发者可以积极参与开源社区，获取最新技术进展。

原文链接

https://www.technologyreview.com/2026/08/10/1141511/these-startups-are-chasing-the-next-big-thing-in-llms/

—— 完 ——

主题标签： #LLM #Transformer #稀疏注意力 #扩散模型 #液体神经网络