AWS发布GPT-OSS-20B多语言推理微调方案：SFT与GRPO结合优化模型性能

摘要：AWS的研究团队展示了如何利用Amazon SageMaker HyperPod对GPT-OSS-20B进行多语言推理的微调。通过监督微调（SFT）和基于群组相对策略优化（GRPO）的强化学习相结合，模型在多语言推理任务中的表现显著提升。SFT将推理语言的准确性从22%提升至100%，而GRPO进一步优化了答案语言的准确性，从62%提升至70%。该方案为多语言AI模型的优化提供了新的技术路径。

---

背景与挑战

GPT-OSS-20B是一款开源的推理模型，主要以英语进行推理。当被要求用法语、德语、西班牙语或意大利语进行推理时，该模型会理解指令，但最终仍以英语生成推理链。在一个包含50个问题的多语言推理测试中，模型在目标语言中正确推理的比例仅为22%，且几乎完全来自英语示例（英语100%，法语0%，德语10%，西班牙语0%，意大利语0%）。对于需要为非英语用户提供推理服务的团队来说，这一差距至关重要。

技术方案

为了解决这一问题，AWS的研究团队在Amazon SageMaker HyperPod上对GPT-OSS-20B进行了微调，重点探讨了监督微调（SFT）和基于群组相对策略优化（GRPO）的强化学习两种技术的结合使用。

数据集与任务

使用的多语言推理数据集为HuggingFaceH4/Multilingual-Thinking，包含英语、法语、德语、西班牙语和意大利语的链式推理示例，共949个训练样本和50个验证样本。模型的任务是按照系统提示指令，在目标语言中进行推理并给出答案。

SFT与GRPO的结合

• SFT的作用：SFT教会模型一种它原本不具备的行为。在本例中，SFT将推理语言的准确性从22%提升至100%。
• GRPO的作用：GRPO优化模型已经能够偶尔产生的行为。在本例中，GRPO将答案语言的准确性从62%提升至70%。

SFT和GRPO的结合使用表明，SFT是基础，GRPO在存在改进空间的情况下进行优化。

训练架构

训练在Amazon SageMaker HyperPod上进行，使用Amazon EKS进行编排。初始的SFT和GRPO运行使用PyTorch TRL库，而Qwen控制实验则使用veRL作为训练器，Ray和KubeRay用于分布式编排，vLLM用于快速生成推理结果。所有微调均使用低秩适应（LoRA）技术，该技术参数高效且适用于SFT和GRPO。

实验结果

• SFT结果：经过SFT后，模型在所有五种语言中推理语言的准确性达到100%。
• GRPO结果：GRPO进一步将答案语言的准确性从62%提升至70%，同时保持了推理语言的100%准确性。

最佳实践

1. 从SFT开始：GRPO无法教会模型一种在基础分布中概率为零的行为。它只能强化模型已经偶尔产生的行为。
2. 使用LoRA进行SFT和GRPO：LoRA r=8/α=16参数高效且在Qwen控制实验中表现出色。
3. 匹配技术以填补能力差距：使用SFT来弥补缺失的行为，使用GRPO来优化已经存在但不完全正确的行为。
4. 在花费GPU小时之前检查奖励空间：如果大多数组都是全对的，GRPO将无法获得梯度。

结论

SFT在多语言推理任务中完成了大部分工作，而GRPO在存在改进空间的情况下提供了显著的优化。这一方案为多语言AI模型的优化提供了新的技术路径。

---

消息来源：AWS Machine Learning Blog (2026-10-20)

—— 完 ——

主题标签： #AWS 关注 #GPT-OSS-20B 关注 #多语言推理 关注 #微调 关注 #强化学习 关注