潜在反馈重配预训练预算:最高节省48%算力与47%唯一数据
摘要:论文提出潜在反馈训练法:把前一词元的顶层隐藏状态送入下一词元输入,为同一训练预算提供不同于增加轮次的替代路径。作者在60M—271M参数模型上与等算力、多轮次基线逐档调参比较,并用统一缩放律外推至778M参数规模;结果显示最高节省48%训练算力与47%唯一数据。优势在唯一数据相对模型容量充足时更明显,但当前证据限于小中规模预训练,摘要未披露数据、任务、误差区间与推理开销,尚不能直接外推至前沿大模型。
## 核心结论 潜在反馈把每个词元在顶层产生的隐藏状态送入下一个词元的输入,使训练信号除了当前的下一词元预测目标,还包含前一步内部表征向后的显式传递。作者没有拿它与训练不足的普通 Transformer 比较,而是设置了更严格的等算力基线:让基线用相同计算预算重复训练更多 epoch,再逐个模型规模、唯一数据量和重复轮次调优两种方法。 结果显示,在唯一数据相对模型容量充足时,潜在反馈可以用更少计算达到基线损失,也可以在固定重复轮次时用更少唯一数据达到相同损失。统一缩放律给出的最高相对节省为48%训练算力和47%唯一数据;模型从60M扩展到271M参数后拟合的规律,对留出的778M参数模型仍能把损失误差控制在0.3%以内,把两种模型的损失差距误差控制在0.05%以内。 ## 技术机制:从词元预测扩展为隐状态反馈 标准因果语言模型可简化为: `h_t = Fθ(x_1, ..., x_t)` `L = -Σ log p(x_t | x_ **消息来源**:[Hugging Face Daily Papers](https://huggingface.co/papers/2611.20404) (2026-11-16) —— 完 ——
主题标签: #潜在反馈 #语言模型预训练 #缩放定律 #数据效率
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区