Hugging Face发布FRAC：基于分数动力学的长序列建模新架构

摘要：Hugging Face推出了一种名为FRAC的新型选择性状态空间模型（SSM）架构，该架构基于分数动力学，取代了传统SSM的指数遗忘机制，采用幂律长记忆来提升长序列建模能力。FRAC通过有限状态的指数模式之和来近似重尾目标核，从而实现了高效并行训练和预填充，同时保留了有界状态的自回归解码能力。实验表明，FRAC在长上下文任务中表现优异，同时在短上下文任务中也具有竞争力，展示了分数动力学在长序列建模中的实用性和有效性。

---

新型长序列建模架构：FRAC的发布

Hugging Face近日发布了一种名为FRAC的新型选择性状态空间模型（SSM）架构，该架构基于分数动力学，旨在解决传统SSM在长序列建模中的局限性。

技术亮点

1. 分数动力学取代指数遗忘：FRAC采用幂律长记忆机制，取代了传统SSM的指数遗忘机制，从而在更广泛的时间范围内保留信息。
2. 高效近似与实现：通过有限状态的指数模式之和来近似重尾目标核，FRAC实现了高效并行训练和预填充，同时保留了有界状态的自回归解码能力。
3. 实验验证：在1.3B参数的语言建模实验中，FRAC在长上下文任务中表现优异，同时在短上下文任务中也具有竞争力。

行业影响

• 长序列建模的新方向：FRAC的发布为长序列建模提供了新的思路，特别是在需要处理长距离依赖关系的任务中，如文本生成、语音识别和生物序列分析等。
• 推动AI技术进步：该架构展示了分数动力学在AI模型中的应用潜力，为未来的研究提供了新的方向。
• 开发者工具支持：Hugging Face计划在后续版本中提供FRAC的预训练模型和开源实现，为开发者提供更强大的工具支持。

开发者建议

• 关注FRAC的应用场景：开发者可以尝试将FRAC应用于需要长序列建模的任务中，如自然语言处理和生物信息学等。
• 参与开源社区：Hugging Face鼓励开发者参与FRAC的开源社区，共同推动该技术的进步和应用。

结论

FRAC的发布标志着分数动力学在长序列建模中的重要突破，为AI模型的进一步发展提供了新的可能性。

---

消息来源：Hugging Face Daily Papers (2026-09-28)

—— 完 ——

主题标签： #Hugging Face #FRAC #长序列建模 #分数动力学 #开源模型