arXiv提出新型轻量级语言模型：冻结词汇表实现高效推理与存储优化

摘要：arXiv发布了一项关于轻量级语言模型的研究，提出了一种基于冻结词汇表的创新方法。该方法通过将词汇表替换为固定大小的二进制编码表（16 MB），显著降低了模型参数量和存储需求，同时在多个基准测试中表现优异，甚至在某些任务上超越了传统可训练词汇表模型。此外，该模型在低资源设备上实现了高效的推理速度，为资源受限的应用场景提供了新的解决方案。

---

研究背景与动机

在小型语言模型中，词汇表通常占据了模型的大部分参数。例如，在Gemma 3 270M模型中，嵌入表占据了268M参数中的168M参数，并且由于量化方法通常将嵌入表保留为16位，压缩后的模型文件中嵌入表仍然占据了大部分空间。这种现象引发了研究人员的思考：这种庞大的嵌入表是否真的必要？

方法与创新

研究团队提出了一种基于冻结词汇表的方法，将词汇表替换为一个固定大小的512位二进制编码表（16 MB），该表没有可训练的参数，而是通过主成分投影和符号二值化从预训练的嵌入中派生而来。研究团队使用相同的Gemma模型架构，在相同的2.05B tokens上分别训练了带有和不带有冻结词汇表的模型。

实验结果与分析

实验结果表明，虽然可训练词汇表在验证损失上带来了0.20 nats的提升，但其参数量是冻结词汇表的2.6倍。在LAMBADA、HellaSwag和PIQA等基准测试中，冻结词汇表模型的表现优于或与可训练词汇表模型持平，仅在ARC-Easy上可训练词汇表模型表现更好。

此外，研究团队还测试了三值BitNet b1.58模型，整个模型文件大小仅为46 MB。在LAMBADA和PIQA上，该模型与浮点模型表现相当，而在笔记本电脑CPU上，其生成速度为每秒615到740个token，内存占用仅为62 MB，是8位GGUF浮点模型在llama.cpp上的五到六倍，内存占用仅为七分之一。

在处理罕见词汇时，冻结词汇表模型的表现尤为突出，其在罕见词汇上的表现优于可训练词汇表模型1.7到2.3 nats，并且在训练后可以接受10,000个新词汇，而可训练词汇表模型在此情况下的性能下降了43%。

结论与影响

这项研究展示了冻结词汇表在小型语言模型中的巨大潜力，特别是在资源受限的应用场景中。通过减少可训练参数和模型大小，该方法不仅降低了存储需求，还提高了推理速度，为AI模型的轻量化发展提供了新的思路。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #轻量级模型 关注 #冻结词汇表 关注 #量化技术 关注 #资源受限应用 关注 #推理优化 关注