Hugging Face发布ACCRUE：革新机器人基础模型的持续离线强化学习框架

摘要：Hugging Face推出ACCRUE，这是一款用于机器人基础模型的持续离线强化学习框架。ACCRUE通过轻量级的演员和评论家网络跨任务传递知识，实现了新任务的高效学习，同时几乎不遗忘之前习得的行为。其核心机制包括仅在当前任务转换上适应继承的评论家，以及通过少量保留片段上的缓存目标蒸馏演员网络，从而保持先前的行为。在模拟和真实机器人硬件的接触丰富的装配序列测试中，ACCRUE显著减少了31.0%至68.5%的训练时间，并实现了接近零的遗忘率，为机器人智能体的持续学习提供了突破性解决方案。

---

技术机制剖析

ACCRUE的核心创新点在于其轻量级架构设计，通过跨任务传递知识实现持续学习。其主要技术机制包括：

1. 轻量级演员和评论家网络：ACCRUE采用轻量级的演员和评论家网络结构，确保在跨任务传递知识时保持高效性。这种设计减少了模型参数数量，降低了计算开销。

2. 继承评论家适应机制：继承的评论家网络仅在当前任务的转换上进行适应，避免了对过去任务数据的依赖，从而防止了灾难性遗忘。

3. 演员网络蒸馏：通过在少量保留片段上的缓存目标对演员网络进行蒸馏，ACCRUE能够保留先前的行为模式，确保新任务的学习不会干扰旧任务的执行。

4. 固定视觉特征：固定视觉特征的使用使得继承的学习器和重放缓冲区与基础策略更新兼容，进一步提升了模型的稳定性和泛化能力。

工程权衡与实测表现

ACCRUE在工程实现上取得了以下权衡：

• 计算效率 vs. 模型复杂度：通过轻量级网络设计，ACCRUE在保持高效计算的同时，实现了复杂任务的学习能力。

• 遗忘率 vs. 学习速度：ACCRUE在几乎不遗忘旧任务的同时，显著提升了新任务的学习速度。

• 硬件适应性：该框架在模拟和真实机器人硬件上均表现出色，展示了其在不同硬件环境下的适应性。

在多个基准测试中，ACCRUE将真实机器人训练时间减少了31.0%至68.5%，并实现了接近零的遗忘率，显著优于现有的持续RL方法。

开发者落地与部署建议

对于开发者而言，ACCRUE的发布为机器人智能体的持续学习提供了新的技术路径。以下是一些部署建议：

1. 硬件适配：建议在资源受限的硬件环境中使用ACCRUE的轻量级网络设计，以充分发挥其计算效率优势。

2. 任务分解：在复杂任务中，建议将任务分解为多个子任务，并利用ACCRUE的跨任务知识传递机制进行持续学习。

3. 数据管理：保留少量关键片段用于演员网络蒸馏，以确保旧任务的行为模式得以保留。

4. 性能监控：持续监控模型的遗忘率和学习速度，并根据实际情况调整模型参数和训练策略。

ACCRUE的发布标志着机器人基础模型在持续学习领域的重要突破，为开发者提供了高效、可扩展的解决方案。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #机器人智能体 关注 #持续学习 关注 #离线RL 关注