Reddit用户尝试训练基于Qwen的波兰法律AI模型：挑战与策略探讨

摘要：一位Reddit用户分享了其使用Qwen3.5-9B-BASE模型训练波兰法律AI的进展与挑战。该项目旨在构建一个能够处理波兰法律问题、提供智能问答、生成法律文件并具备推理能力的AI助手。用户详细描述了已完成的连续预训练（CPT）阶段、数据集构成以及当前面临的难题，包括如何将基础模型转化为具备推理能力的智能体、如何选择合适的微调（SFT）和强化学习（RL）策略，以及如何处理不同类型的数据以提升模型性能。

---

项目背景与目标

该项目的目标是构建一个能够替代现有AI法律工具（如Opus）的波兰法律AI模型。该模型不仅需要处理一般性的问答任务，还需具备对波兰法律的深入理解，能够生成复杂的法律文件、进行匿名化处理以及提供法律推理支持。

已完成的工作

用户已完成以下预训练（CPT）阶段，每个阶段约80M tokens：

1. 复杂法律评论：对波兰法律评论进行预训练。
2. 立法文件（欧盟+本地）：对欧盟和波兰的立法文件进行预训练。
3. 法院裁决：对法院裁决进行预训练。

这些阶段的数据源未混合，每个阶段都从前一阶段的检查点继续训练。在一个小型波兰金融/法律多选测验中，所有阶段的模型表现均略优于基础模型，其中立法文件阶段的模型表现最佳。

当前挑战与问题

1. 模型转化与微调策略：“我如何将这个可能已经适应领域的基础模型转化为一个具备推理能力的智能体？” 用户对如何进行后续的微调（SFT）和强化学习（RL）感到困惑，特别是如何教模型进行推理。

2. 数据选择与处理：“我应该继续对剩余的数据源进行CPT，还是开始SFT？例如，Facebook法律问答数据真实但不可靠，我该如何处理这些数据？” 用户拥有多种数据来源，包括Facebook法律问答、认证机构提供的问答、法律学习材料、Claude Code风格的对话记录等，但不确定如何选择和处理这些数据以获得最佳效果。

3. 推理能力的训练：“我应该从高质量的问答开始训练模型回答问题，还是应该先教模型进行推理？” 用户考虑过使用其他模型生成推理链，但担心其准确性，并认为直接注入“合成推理”可能存在后验问题。

4. 工具使用与RL的结合：用户计划先让模型成为一个常规的聊天机器人，然后再教它使用工具进行推理。但用户也考虑是否应该从一开始就通过工具使用来教授推理能力。此外，用户对何时引入RL以及如何设计奖励机制感到困惑。

可能的解决方案

用户提出了一种可能的训练路线：

1. 当前CPT检查点 → 高质量问答SFT → 基于工具的推理/使用SFT → RL在工具中的训练

但用户对这种顺序并不确定，并希望得到建议以确定是否缺少重要阶段或是否发明了不必要的步骤。

未来目标

用户希望最终模型能够：

• 对波兰法律有良好的直觉和理解。
• 能够对文档进行匿名化处理。
• 生成复杂的法律摘要。
• 从立法和法院裁决中生成图表。
• 创建/编辑/审查合同。

资源与建议

用户欢迎任何关于数据选择、微调策略、RL应用以及相关资源的建议，并提到现有的RL文档不够完善，希望找到更优质的资源。

---

消息来源：Reddit r/MachineLearning (2026-10-28)

—— 完 ——

主题标签： #Qwen 关注 #法律AI 关注 #模型训练 关注 #微调策略 关注 #强化学习 关注