大模型· 2024-09-19#EleutherAI#muTransfer#超参数优化#大规模训练#模型稳定性
EleutherAI发布muTransfer实现指南:优化大规模模型训练超参数稳定性
EleutherAI与Cerebras合作发布muTransfer的实现指南,旨在解决神经网络训练中超参数(HP)在大规模模型中不稳定的问题。muTransfer通过重新参数化网络…
智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。
投稿技术文章当前筛选: 分类: 大模型 清除筛选
大模型· 2024-09-19#EleutherAI#muTransfer#超参数优化#大规模训练#模型稳定性
EleutherAI与Cerebras合作发布muTransfer的实现指南,旨在解决神经网络训练中超参数(HP)在大规模模型中不稳定的问题。muTransfer通过重新参数化网络…
大模型· 2024-08-13
xAI 宣布推出新一代 AI 模型 Grok-2 及其轻量级版本 Grok-2 mini,标志着其在 AI 模型领域的进一步发展。Grok-2 的发布旨在提升 AI 模型在复杂任务…
大模型· 2024-04-20
本文探讨了大语言模型(LLMs)在金融市场的应用潜力与挑战。尽管LLMs在自然语言处理领域表现出色,但将其应用于金融时间序列预测时面临数据量不足、噪声过多以及市场效率高等问题。文章…
大模型· 2024-04-20
本文深入探讨了大型语言模型(LLM)在金融市场的应用潜力与挑战。尽管LLM在自然语言处理领域表现出色,但将其应用于金融时间序列预测时面临诸多难题,如数据噪声大、市场效率高以及预测目…
大模型· 2024-04-14
EleutherAI推出了Pile-T5,这是一款基于Pile数据集并采用LLaMA分词器的改进版T5模型。Pile-T5的训练数据量是原始T5模型的两倍,达到2万亿个token,…
大模型· 2024-04-12
xAI Labs 推出了其首个多模态模型 Grok-1.5 Vision,旨在连接数字世界与物理世界。该模型通过整合视觉与语言处理能力,展示了 AI 在多模态交互领域的进一步发展。…
大模型· 2024-03-28
xAI Labs 宣布推出新一代 AI 模型 Grok-1.5,该模型在推理能力方面实现了显著提升,并支持高达 128,000 个 token 的上下文长度。这一更新旨在增强 AI…
大模型· 2024-03-28
Mamba是一种基于状态空间模型(SSM)的新型AI架构,旨在解决Transformer在处理长序列时的效率瓶颈问题。Mamba通过引入选择性状态空间模型(Selective SS…
大模型· 2024-03-28
Google Research推出了一款名为AutoBNN的开源工具包,旨在解决传统时间序列预测方法中的局限性。AutoBNN结合了贝叶斯神经网络(BNNs)和高斯过程(GP)的优…
大模型· 2024-03-25
EleutherAI发布了一篇博文,针对《纽约时报》关于Yi-34B模型依赖Meta的Llama 2的报道进行了事实核查。文章指出,Yi-34B与Llama 2的架构相似性源于现代…
大模型· 2024-03-20
Google Research推出了一款基于机器学习的辅助AI系统,旨在优化肺癌筛查流程。该系统通过CT影像输入,输出癌症可疑性评分及病灶定位,并已在美日两国进行多中心临床研究验证…
大模型· 2024-03-20
Google Research发布了一款基于机器学习(ML)的全球洪水预测模型,旨在提升全球范围内的洪水预警能力。该模型通过改进现有技术,将全球洪水预测的可靠性从零天延长至五天,并…