智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #EleutherAI #RoPE #YaRN #长序列处理 #大语言模型

EleutherAI发布YaRN:扩展RoPE上下文窗口的新方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:EleutherAI的研究团队提出了一种名为YaRN的新方法,通过位置插值、NTK感知方法和RoPE(Rotary Position Embedding)扩展语言模型的上下文窗口。该方法旨在解决预训练模型在处理更长序列时的局限性,通过调整RoPE公式,使模型能够更高效地适应更长的上下文需求。YaRN在保持模型性能的同时,显著提升了处理长序列任务的能力,为大语言模型(LLM)的进一步发展提供了新的技术路径。


背景与动机

Rotary Position Embedding (RoPE) 是一种有效的位置编码技术,最早由Su等人于2020年提出,并随后在开源模型如GPT-J、GPT-NeoX、PaLM和LLaMA中得到应用。然而,RoPE的预训练上下文长度限制了其应用范围。为了解决这一问题,EleutherAI的研究人员提出了一系列方法,包括位置插值(Position Interpolation, PI)、NTK感知插值(NTK-aware Interpolation)和YaRN,以扩展RoPE的上下文窗口。

主要方法

  1. 位置插值(Position Interpolation, PI)

    • 通过调整RoPE公式中的位置参数,使模型能够处理更长的序列。
    • 具体方法是将位置参数按比例缩放,例如将原始序列长度L扩展到L',则缩放因子为s = L'/L。
    • PI方法需要在大约1-10亿个token上进行微调,且在处理短序列时可能会略微增加困惑度。
  2. NTK感知插值(NTK-aware Interpolation)

    • 基于神经切线核(NTK)理论,该方法通过调整RoPE的频率分布来更好地学习高频信息。
    • 与PI不同,NTK感知插值在缩放频率时对不同维度采用不同的缩放因子,以避免高频信息的丢失。
  3. YaRN(Yet Another RoPE Extension)

    • YaRN结合了位置插值和NTK感知插值的优点,通过更精细的频率调整和上下文窗口扩展,进一步提升了模型处理长序列的能力。
    • 该方法通过引入新的函数g(m)和h(θ_d)来修改RoPE公式,从而实现更高效的位置编码。

技术亮点

  • 高效性:YaRN在保持模型性能的同时,显著提升了处理长序列的能力。
  • 灵活性:该方法可以应用于多种预训练模型,无需重新训练。
  • 可扩展性:通过调整参数,YaRN可以适应不同长度的上下文需求。

行业影响

YaRN的提出为大语言模型的长序列处理能力提供了新的解决方案,特别是在需要处理长文档、对话历史和多模态数据的应用中具有重要意义。该方法不仅提升了模型的性能,还为AI研究人员和开发者提供了更高效的工具,推动了AI领域的发展。

开发者建议

  • 应用场景:建议在需要处理长序列的任务中优先考虑使用YaRN方法。
  • 模型适配:开发者可以根据具体需求调整YaRN的参数,以获得最佳性能。
  • 持续关注:EleutherAI可能会在未来发布更多关于YaRN的更新和优化,建议持续关注其官方博客和GitHub仓库。

消息来源:EleutherAI Blog (2023-11-13)

—— 完 ——

主题标签: #EleutherAI #RoPE #YaRN #长序列处理 #大语言模型

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…