智客 AI 新闻

智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。

当前筛选： 分类: 大模型 清除筛选

xAI发布全新AI模型Grok：基于《银河系漫游指南》的智能问答系统

xAI宣布推出全新AI模型Grok，该模型以《银河系漫游指南》为灵感，旨在提供广泛的问题解答能力，并能够主动建议用户提出相关问题。Grok的设计理念强调智能交互与用户引导，体现了A…

文 / Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-10-17

EleutherAI于2023年10月16日发布了Llemma，这是一系列专为数学推理设计的开放语言模型，包含70亿和340亿参数版本。Llemma基于Code Llama权重进行…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-09-12

vLLM是一款基于PagedAttention算法的高效大语言模型（LLM）推理系统，通过借鉴操作系统中的虚拟内存和分页技术，解决了现有系统在处理大规模键值缓存（KV Cache）…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-05-03

EleutherAI近期发布其AI对齐研究战略，强调通过可解释性研究、开放科学实践以及跨领域合作来应对AI对齐的核心挑战。该组织指出，AI对齐领域仍处于早期阶段，缺乏统一范式，因此…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-04-17

EleutherAI发布了一份关于大语言模型（Transformer）计算和内存使用的基础数学指南《Transformer Math 101》。该指南详细解析了模型训练中的计算成本…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-04-02

EleutherAI发布了一篇博文，展示了如何使用开源工具TRLX和TransformerLens对基于RLHF（从人类反馈中强化学习）训练的大语言模型进行训练和可解释性分析。TR…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2023-03-26

EleutherAI发布了一篇深度回顾文章，详细介绍了其过去一年半在大语言模型领域的进展，特别是GPT-NeoX-20B的研发历程。文章涵盖了从硬件短缺到模型训练优化、从技术挑战到…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2021-08-16

EleutherAI发布了一项关于旋转位置嵌入（Rotary Position Embeddings）与GPT风格学习位置嵌入的对比研究。通过在相同硬件和训练设置下对1.3B参数模…

Mr.Xu0 次阅读0 条讨论与划词

大模型· 2021-04-21

EleutherAI的研究团队提出了一种名为旋转位置嵌入（RoPE）的新方法，用于在Transformer模型中统一绝对和相对位置编码。RoPE通过将位置信息表示为复数域中的旋转操…

Mr.Xu0 次阅读0 条讨论与划词