arXiv发布Pearl-Chat：专为低资源语言卢干达设计的轻量级语言模型

摘要：arXiv团队发布了一款名为Pearl-Chat的轻量级语言模型，专为低资源语言卢干达（ISO 639-2: lg）设计。该模型基于因果解码器Transformer架构，参数总量约850万，采用JAX和Flax NNX框架构建，并引入了字节级BPE分词器以优化处理效率。Pearl-Chat在多阶段训练中表现出色，在诊断基准测试中实现了0.9792的ROUGE-L和0.9405的BLEU分数，展示了其在低资源语言处理中的潜力。此外，该模型开源了所有权重、代码和工具，为非洲语言AI研究提供了重要支持。

---

技术机制剖析

Pearl-Chat基于因果解码器Transformer架构，采用JAX和Flax NNX框架开发。其核心创新点包括：

1. 轻量级设计：模型参数总量约850万，在保证性能的同时大幅降低了计算和存储成本。
2. 字节级BPE分词器：专为卢干达语设计，压缩效率达到4.88字符/分词，比LLaMA-3和Gemma等通用多语言模型提高了近两倍。
3. 多阶段训练：第一阶段在平行语料、圣经、百科全书和新闻语料上进行预训练，第二阶段通过助理对话数据进行微调，并采用仅损失掩码技术优化训练效率。
4. 高效并行计算：利用Google Grain进行确定性可恢复数据流处理，并通过jax.sharding.Mesh实现SPMD张量并行计算。

工程权衡与实测表现

Pearl-Chat在处理低资源语言时展现出显著优势，但也面临一些权衡：

• 精度与效率的平衡：尽管模型轻量，但在多阶段训练中实现了较低的验证交叉熵损失（0.1818），这表明其在精度和效率之间找到了良好平衡。
• 语言特异性优化：针对卢干达语的优化使其在处理该语言时表现优异，但可能限制其在其他语言上的泛化能力。
• 开源与可扩展性：所有代码和权重均已开源，便于社区进一步改进和扩展，但需要更多资源来支持多语言扩展。

在诊断基准测试中，Pearl-Chat表现出色，ROUGE-L和BLEU分数分别达到0.9792和0.9405，展示了其在低资源语言处理中的潜力。

开发者落地与部署建议

Pearl-Chat的开源特性使其成为研究人员和开发者的理想选择，尤其适合以下场景：

• 低资源语言处理：为非洲和其他低资源语言提供高效解决方案。
• 多语言模型扩展：作为基础模型进行微调，以支持更多语言。
• 资源受限环境：轻量级设计使其适用于边缘设备和资源受限的应用场景。

建议开发者根据具体应用场景进行微调，并结合本地化数据进一步优化模型性能。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #Pearl-Chat 关注 #低资源语言 关注 #JAX 关注 #Flax NNX 关注 #开源模型 关注