跳到主内容
智客 ZICQ

智客 AI 新闻

智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。

当前筛选: 标签: #轴向注意力 清除筛选

大模型· 2026-11-11

Mr.Xu3 次阅读0 条讨论与划词

STO用L1稀疏化压缩知识编辑目标,降低模型更新干扰

STO把大模型知识编辑的注意力从参数修改阶段前移到目标隐藏状态构造阶段。研究证明参数空间干扰与目标隐藏状态干扰呈正相关,并借助L1正则化裁剪知识向量的非必要分量,减少编辑对既有知识…