onóna双嵌入表提升语言模型输出表达力

摘要：onóna提出一种保留输入—输出权重共享的双嵌入表参数化：Transformer以两表均值作为输入，输出头融合两表分别产生的Softmax分布，混合权重仅由当前输入Token决定，可在推理前预计算。论文在142M、330M和1B三种规模，以及Dense、Gated DeltaNet混合、MoE和Attention Residual架构上进行匹配Token预算实验；12组比较中有11组降低验证损失与外部困惑度，10组提升八项下游任务平均准确率。代价是新增一张嵌入表和一次词表投影。

---

核心思路：用两张表突破单一 Softmax 输出头

传统语言模型常把输入嵌入表与输出投影矩阵绑定，以减少参数量和显存占用，并通过权重共享改善低资源训练。但标准绑定方式只有一个输出分布，表达能力受限于单一 Softmax。onóna在保持输入—输出权重共享的前提下，引入两张嵌入表：

• Transformer输入表示为两表对应向量之和再除以二，即 $x=\frac{E_1[t]+E_2[t]}{2}$；
• 输出头分别计算两表定义的词表分布 $p_1(y\mid x)$ 与 $p_2(y\mid x)$；
• 由当前输入Token $t$ 决定的门控权重 $\alpha(t)$ 混合两份分布：

$$p(y\mid t)=\alpha(t)p_1(y\mid t)+(1-\alpha(t))p_2(y\mid t)$$

这并不是增加两个独立输出头。门控只读取当前输入Token，不依赖隐藏状态，也不改变Transformer主体。其输出空间可预先计算成Token到混合系数的查找表，因此推理时不需要额外网络调用，也不会让门控逐层传播或破坏KV Cache机制。

参数化与计算机制

若词表大小为 $V$、隐藏维度为 $d$，额外代价主要是第二张 $V\times d$ 嵌入矩阵，以及输出阶段一次词表投影。对输出词表为50K量级的模型，新增参数约为 $50{,}000\times d$；以$d=4096$估算，FP16权重约占400 MiB。相比扩大隐藏维度或引入独立Transformer输出头，这种设计更集中地增加词表相关存储。

训练时，两份Softmax都可以通过同一组词表logits高效计算，再按Token对应的混合权重聚合。推理时，则可预取混合后的词表概率，或将两套投影结果缓存后组合。具体内存收益取决于实现是否复用两表的词表投影、是否物化完整概率分布，以及框架是否支持融合算子。如果直接保存两份完整概率张量，短词表尚可接受，长词表则可能产生明显的带宽与内存压力。

该方法的关键收益在于：输入侧仍只接收两个表共享后的均值，避免两套表示同时占据序列上下文；输出侧却获得两个可独立学习的词表几何结构。它试图在不更换主体架构的情况下，修复单一绑定Softmax的表达瓶颈。

跨架构与多规模实验

论文在142M、330M和1B三个规模上，将onóna接入Dense、Gated DeltaNet混合、MoE以及Attention Residual架构，并采用匹配的Token预算进行比较。结果显示：

• 12组验证损失与外部困惑度比较中，11组得到改善；
• 12组八项下游任务平均准确率比较中，10组提升；
• 唯一未降低损失的是1B规模MoE模型。

这一结果说明方法并未绑定于单一Transformer骨架，对状态空间与线性注意力混合模型、稀疏专家模型以及残差结构都具有一定迁移性。尤其是1B MoE的反例提示，收益并非随规模或架构复杂度单调增长；MoE中的路由、专家容量和共享嵌入可能改变优化动态，不能仅根据其他规模的趋势外推。

工程权衡：表达能力与词表成本

onóna并不免费。参数共享减少的是独立输入嵌入与输出矩阵的重复存储，而双表方案主动保留了两份词表参数。因此，相比完全绑定的标准模型，它牺牲了一部分参数经济性，以换取更丰富的输出分布。

部署侧还需要处理三个问题：

1. 词表投影开销：每个Token可能需要读取两张 $V\times d$ 的表，或执行两次矩阵乘法。计算量是否被隐藏在大矩阵乘法中，取决于融合实现。
2. 缓存与内存带宽：门控系数可以预计算，但两套词表权重必须驻留；长上下文场景的瓶颈更多来自模型权重读取，而非门控计算。
3. 训练稳定性：两个Softmax的尺度、梯度和稀疏更新模式可能不同，需要监控分支退化、门控是否趋于常数，以及某一分支是否被完全主导。

对多数小词表、低并发研究模型，额外数百MiB权重是可接受的。对超大词表或边缘设备，这一成本可能抵消共享带来的收益。由于摘要未披露端到端吞吐、首Token延迟、训练步耗时和融合内核结果，工程收益仍需实测。

基准测试应如何审视

“11/12降低损失”和“10/12提升准确率”覆盖了多种架构与规模，是比单点结果更有说服力的证据。不过，当前披露没有提供各组具体幅度、置信区间、训练随机种子、基线实现细节及外部困惑度所用模型，因此尚难判断平均增益是否足以抵偿额外词表成本。

下游任务平均准确率同样可能掩盖任务间差异：少量任务的波动会直接影响八项平均值。独立复现应至少同时报告验证损失、每项下游任务准确率、额外参数与FLOPs、训练墙钟时间、推理吞吐，以及等参数或等Token条件下的对照。

开发者落地建议

onóna最适合输出空间需要更高表达能力、同时仍希望保留输入—输出共享机制的模型训练场景，例如多语言词表、频繁出现的代码Token或存在明显子词分布差异的任务。接入现有训练框架时，可先验证以下路径：

• 将第二张表初始化为第一张表的扰动副本，而非完全随机初始化；
• 对门控系数增加熵或幅值约束，降低早期分支塌缩风险；
• 对两套词表logits采用数值稳定归一化，避免Softmax饱和；
• 将Token门控系数预计算为静态表或嵌入查找，避免运行时控制流；
• 对输出投影做融合核或权重分块，避免逐Token读取两张大表；
• 使用相同总Token数、训练步数和数据顺序，对比标准绑定、单表解绑定与onóna三种方案。

对于生产模型，是否采用onóna不应只看困惑度，还要计算单位训练成本、单位推理成本和部署内存。如果目标只是追求更低参数量，标准权重绑定仍然更直接；如果词表输出表达力是主要瓶颈，onóna提供了一条比重写主体网络更轻量的改造路径。

结论

onóna的核心贡献不是让模型拥有两个独立输出头，而是用同一组Token门控组合两张表的Softmax分布，在不改变Transformer主体、保留输入—输出共享关系的同时扩展输出表达力。多架构、多规模实验显示出较一致的收益，但新增词表参数与投影成本不可忽略。真正的工程价值，需要通过融合实现下的吞吐、显存和独立复现数据加以确认。

---

消息来源：Hugging Face Daily Papers (2026-11-07)

—— 完 ——

主题标签： #onóna 关注 #权重共享 关注 #双嵌入表 关注 #语言模型架构 关注