MoWE宽专家稀疏路由：让模型特征直接成为可读坐标

摘要：论文提出 Mixture of Wide Experts（MoWE），用读取完整隐藏表示、但只写入固定且互斥输出坐标的宽专家前馈层，替代先训练模型再用稀疏自编码器提取特征的做法。在约匹配计算量的受控实验中，MoWE 的交叉熵为 2.417，优于稠密模型的 2.452，但仍落后标准 MoE 的 2.22；其原生坐标可读性特异性为 0.523，高于稠密模型和标准 MoE。案例还显示，坐标值可被识别、复制并直接影响预测，但现有结果仍受受控任务、语言模型裁判和案例规模限制。

---

核心思路

论文提出 Mixture of Wide Experts（MoWE）：模型不再把一个概念分散编码在大量隐藏维度中，也不依赖训练后的稀疏自编码器（SAE）再反推特征，而是直接在网络内部学习可辨识、可复用的输出坐标。

其前馈层采用稀疏路由：每个 token 只激活部分专家；被选中的专家读取完整隐藏表示，但每个专家只负责一组固定、互不重叠的输出坐标。这样，路由负责条件计算，坐标所有权负责可解释性。

架构与计算机制

设隐藏状态为 (h)，路由器为 (r(h))，第 (e) 个专家拥有完整输入权重 (W_e^{in}) 和局部输出掩码 (M_e)。MoWE 的输出可写为：

[ y_{FFN}(h)=\sum_{e\in TopK(r(h))} M_e\odot\phi_e(W_e^{in}h) ]

其中 (\odot) 表示逐元素乘法，(M_e) 将专家输出限制到其拥有的坐标。与标准 MoE 相比，MoWE 的关键区别不是激活更多或更少参数，而是把“稀疏计算”和“原生特征坐标”绑定：专家选择不仅决定计算路径，也决定哪些固定坐标可以被激活。

这种设计避免了传统 MoE 中专家输出相互混叠、同一概念跨专家扩散的问题。工程上，它也带来一个重要约束：输出坐标必须预先划分并保持稳定，否则不同专家无法直接共享可解释的坐标语义。

实验结果：预测性能与可解释性的权衡

论文进行了三组 19 层架构训练，每种架构各运行两次，总计处理 100 亿 token，并尽量匹配计算量：

| 架构 | 评估交叉熵 | 原生坐标可读性特异性 | |---|---:|---:| | MoWE | 2.417 | 0.523 | | 稠密 FFN | 2.452 | 0.375 | | 标准 MoE | 2.22 | 0.268 |

MoWE 相对稠密模型降低了交叉熵，说明固定坐标约束并没有破坏预测能力；但与标准 MoE 相比仍有 0.197 的差距。其代价来自更严格的输出分工：标准 MoE 可以让任意专家写向完整输出空间，而 MoWE 需要维持坐标隔离和语义稳定性。

可读性实验先根据坐标高激活文本让语言模型裁判生成描述，再在新样本上验证描述。论文还校正了“同一描述也适用于其他坐标”的情况，以 specificity 衡量坐标描述是否真正具有区分度。MoWE 的 0.523 高于稠密模型的 0.375，也显著高于标准 MoE 的 0.268。

使用同一批 FFN 更新训练 TopK SAE 后，稠密模型和 MoWE 的得分分别为 0.489 和 0.556。这说明 MoWE 的原生坐标已经接近后验 SAE 的特征分离能力，减少了单独训练解释器带来的额外成本与解释偏差。

案例研究：坐标是否可以真正干预行为

第一项案例中，研究者从模型中识别出与角度概念相关的四条因果路径。输入 A right angle is 90 时，模型预测 degrees；将七个角度相关坐标值复制到处理 A rectangle has four 的过程中后，下一 token 预测由 sides 改为 degrees。

这说明坐标不仅具有描述性，还可能参与因果计算。不过，坐标复制属于受控干预，案例同时改变了模型看到的内部状态与后续行为，不能直接等同于任意用户可安全地编辑任意坐标。

第二项案例中，一组固定坐标被用于检测危险请求，另一组坐标可将下一 token 推向拒答方向。这为安全策略的内部审计提供了可能，但当前摘要没有给出误报、漏报、攻击者适应性或生产环境稳定性数据。

评测边界与工程权衡

可读性依赖语言模型裁判。 模型生成的坐标描述本身可能包含迎合性或错误归因，因此结果还需要人工标注和独立分类器复核。仅凭 LLM-as-a-judge 得分，不能证明坐标对应稳定、真实的因果概念。

受控任务不等于开放世界可解释性。 已知隐藏原因的实验有助于验证机制，但在互联网语料、代码、多语言和长上下文中，坐标是否保持可读性仍未得到验证。

稀疏计算不等于低延迟。 TopK 路由可减少专家计算量，但路由器、跨专家调度和固定坐标写入可能引入额外开销。论文摘要未给出吞吐、显存和端到端延迟，不能仅凭 MoE 名称推断部署优势。

标准 MoE 的性能优势不可忽略。 MoWE 牺牲了部分预测质量来换取更清晰的坐标语义。对于追求最高质量且无需解释的模型，它未必是更优架构；对于调试、模型编辑、安全审计和可控生成，坐标可读性可能更有价值。

开发者落地建议

1. 先验证坐标语义稳定性：检查同一概念在训练后期、不同输入域和不同路由路径下是否仍映射到同一组坐标。
2. 建立独立解释评测：同时使用人工标注、规则测试和 LLM 裁判，避免将裁判模型偏差误认为可解释性提升。
3. 测量真实推理成本：除 token 质量和 FLOPs 外，还应记录激活专家数、路由负载均衡、显存占用、批处理吞吐与 P99 延迟。
4. 优先用于高价值调试场景：模型行为审计、内部探针、概念级干预和安全策略验证，比直接替换成熟生产模型更容易控制迁移风险。
5. 验证干预边界：在坐标编辑前加入范围约束、激活阈值和回滚机制，避免单次干预造成不可预测的连锁行为。

总体而言，MoWE 提供了一条不同于“模型训练后再解释”的路径：把稀疏条件计算与原生坐标共同纳入模型结构。它在受控实验中实现了较好的性能—可解释性折中，但距离证明大规模语言模型中的因果忠实性，仍需要更开放的数据、更严格的评测和更深入的工程测量。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-05)

—— 完 ——

主题标签： #MoWE 关注 #混合专家架构 关注 #可解释性 关注 #稀疏自编码器 关注 #稀疏路由 关注