arXiv提出UserRepGen-4B：基于回溯蒸馏优化用户模拟器中的用户表示

摘要：arXiv团队提出了一种名为UserRepGen-4B的新方法，通过回溯蒸馏技术优化用户模拟器中的用户表示。该方法通过对话对话重建任务评估和改进用户表示，显著提升了模拟器对真实用户行为的复现能力。实验结果表明，UserRepGen-4B生成的用户表示在700个对话样本中表现优异，能够更准确地模拟用户行为，并有效保留用户群体的多样性。

---

背景与挑战

用户模拟器在AI助手的交互式训练和评估中扮演着关键角色。然而，现有模拟器在复现真实用户行为的多样性方面存在不足，导致AI助手在面对代表性不足的用户时泛化能力较差。用户表示作为自然语言描述，是模拟器复现特定用户行为的关键，但当前对用户表示的研究和优化仍处于初级阶段。

技术突破

为了解决上述问题，arXiv团队提出了一种名为UserRepGen-4B的新方法。该方法的核心在于回溯蒸馏技术，通过以下步骤优化用户表示：

1. 对话重建任务：给定一个原始对话，生成用户表示，并基于该表示模拟对话。
2. 回溯反馈：通过比较原始对话和模拟对话中的用户行为，生成回溯反馈，识别表示的不足之处。
3. 回溯蒸馏：将回溯反馈中包含的改进信息蒸馏到表示生成器中，使其能够直接从原始对话生成改进后的表示。

工程权衡与实测表现

• 优势：

  • 显著提升模拟器对真实用户行为的复现能力。
  • 在700个对话样本的测试中，UserRepGen-4B生成的用户表示在模拟准确性方面优于GPT-5.5。
  • 有效保留用户群体的多样性，并能在未见过的任务中保持高模拟保真度。

• 挑战与权衡：

  • 回溯蒸馏过程需要大量高质量的对话数据作为训练样本。
  • 模拟器对用户行为的复现能力仍然受限于训练数据的覆盖范围。

开发者落地与部署建议

• 数据需求：开发者需要准备大量高质量的对话数据，以训练和优化UserRepGen-4B模型。
• 模型集成：建议将UserRepGen-4B集成到现有的用户模拟器框架中，以提升模拟器的整体性能。
• 持续优化：定期收集用户反馈并更新模型，以适应不断变化的用户行为模式。

结论

UserRepGen-4B通过回溯蒸馏技术，显著提升了用户模拟器中用户表示的质量，为AI助手在复杂交互场景中的泛化能力提供了新的解决方案。该方法不仅在模拟准确性方面表现出色，还为用户群体的多样性保留提供了保障。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #用户模拟 关注 #回溯蒸馏 关注 #用户表示 关注 #AI助手 关注 #对话重建 关注