ArXiv发布AQL-Lite：高效适配阿拉伯语大模型的新框架

摘要：ArXiv发布了一项名为AQL-Lite的新研究，旨在解决阿拉伯语大语言模型（LLM）训练中的数据噪声、方言变异及持续预训练（CPT）成本高等挑战。AQL-Lite通过引入质量优先的数据处理管道和部分参数CPT策略，显著提升了模型在多个阿拉伯语基准测试上的表现，同时大幅降低了训练时间和资源消耗。实验结果表明，AQL-Lite在1B token预算下相较于原始网络文本训练提升了3.51分，并在40B MSA token规模下达到了75.3的Open Arabic LLM Leaderboard v2（OALL v2）评分，展示了其在高效适配阿拉伯语大模型方面的潜力。

---

核心突破

ArXiv发布了一项名为AQL-Lite（阿拉伯语质量语言精简版）的研究，旨在解决阿拉伯语大语言模型（LLM）训练中的三大核心挑战：

1. 数据噪声问题：阿拉伯语网络数据中存在大量噪声，影响模型训练质量。
2. 方言变异问题：阿拉伯语存在多种方言，模型需要适应不同的语言变体。
3. 持续预训练（CPT）成本高：传统CPT方法需要大量计算资源和时间，限制了模型迭代效率。

技术机制剖析

AQL-Lite通过以下技术方案应对上述挑战：

• 质量优先的数据处理管道：包括结构化清理、启发式和基于模型的过滤、现代标准阿拉伯语（MSA）选择和重复数据删除等步骤，确保训练数据的质量。
• 部分参数CPT策略：采用RS-LoRA适配器，在网络的所有层中训练适配器，同时微调最后八个Transformer块和嵌入矩阵，并采用分层学习率。这种方法在保持模型性能的同时，大幅降低了训练成本。

工程权衡与实测表现

在1B token预算下，AQL-Lite在四个阿拉伯语基准测试上的平均得分比原始网络文本训练高出3.51分，而原始网络文本训练相较于基线模型没有提升。在5B token的对比实验中，AQL-Lite在52%的实际训练时间内恢复了全参数CPT的94%的性能提升（平均73.19 vs. 73.58），并在每个基准测试中均优于仅使用适配器的基线方法。

通过消融实验发现，适配器、未冻结的块和嵌入训练均对性能提升有贡献。最终，在40B MSA token规模下，AQL-Lite模型在OALL v2上得分为75.3，展示了其在高效适配阿拉伯语大模型方面的强大能力。

开发者落地与部署建议

• 数据质量至关重要：对于低资源语言模型训练，建议优先投资于数据质量提升，而非单纯增加数据量。
• 部分参数微调策略：在资源受限的情况下，采用部分参数微调策略可以有效平衡性能与成本。
• 适配器技术的应用：适配器技术不仅适用于低资源语言模型训练，还可以扩展到其他领域，如多模态学习等。

结论

AQL-Lite展示了在资源受限环境下高效适配阿拉伯语大模型的新路径，为未来低资源语言模型的研究与开发提供了重要参考。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-24)

—— 完 ——

主题标签： #ArXiv 关注 #AQL-Lite 关注 #阿拉伯语模型 关注 #持续预训练 关注 #适配器技术 关注