智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #ForceHarness #机器人操控 #力反馈 #冻结多模态模型 #HiddenPhys

ForceHarness让冻结大模型用上力觉,零样本操控成功率升至90%

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ForceHarness把腕部力传感器或关节力矩接入机器人控制闭环,使冻结的API多模态模型无需示范或微调也能利用接触力。系统以自终止力控制原语在模型决策之外完成快速闭环,再把力轨迹翻译为带不确定性的物理量作为工具结果。配套七任务HiddenPhys基准中,论文报告仿真成绩提升17.5和34.3个百分点;在无腕部力传感器的真实机械臂上,GPT-6 Astra零样本成功率由3.3%升至90.0%,并超过示范训练的力感知策略。结果突出,但摘要未披露试验次数、方差、代码和公开状态,仍需独立复现。


核心机制:把语义决策与快速接触闭环拆开

ForceHarness不是新的视觉语言模型,而是插在冻结的API多模态模型与机器人执行器之间的控制适配层。它解决的核心矛盾是:前沿模型可以依据图像理解任务,却看不到接触力;而真实接触通常在一次API推理完成前就已经开始变化。

系统把控制拆成两个时间尺度:

  • 语义层:模型根据视觉观察和任务指令选择要执行的力操作。
  • 接触层:本地力控制原语独立完成施力、力调节和停止,并把接触事件及力轨迹返回上层。

模型无需在每个控制周期读取原始力流,只需在原语结束时接收结构化工具结果。这既降低API延迟对接触控制的影响,也避免为冻结模型重新采集大规模力觉示范或进行专项微调。

1. 力信号获取与标定

ForceHarness可以从腕部力传感器获取手部或末端施力,也可以在没有腕部传感器时仅依据关节力矩反推外力。两条路径的硬件成本和误差来源不同:腕部传感器测量更直接,但会增加设备与标定负担;关节力矩方案可复用机器人本体传感器,却依赖动力学模型、摩擦、负载和碰撞位置假设,负载变化或模型偏差都会转化为接触力估计误差。

因此,论文宣称的“无腕部传感器”结果不仅依赖模型推理,也依赖力估计与标定质量。摘要没有给出传感器量程、滤波方式、力矩到外力的估计器及标定误差,工程复现时不能把90%成功率直接视为仅由提示词或多模态模型获得。

2. 自终止力控制原语

自终止原语是ForceHarness处理高速接触的关键。模型发出高层操作后,本地控制器根据力反馈持续调节,并依据预设接触条件自行结束,不等待下一次远程API调用。

从控制工程角度,这类原语可理解为围绕误差信号 e(t) = F_measured(t) - F_target 构建闭环,再配合停止条件和事件检测返回结果。但现有摘要没有说明采用PID、阻抗控制还是其他策略,也没有披露采样频率、增益、停止阈值或收敛保证,因此不能进一步推断其稳定性边界。

这一分层带来明显延迟收益:即使模型往返延迟达到数百毫秒,接触过程仍由本地高频循环闭环处理。不过,原语越自治,模型对执行偏差的语义修正能力越有限;停止条件设得过早可能漏掉接触,设得过晚则可能造成过力、持续挤压或物体损伤。

3. 物理量翻译层

原始力流是高频、连续且依赖设备单位的传感器信号,直接输入API既浪费上下文,也难以让冻结模型理解。ForceHarness的第二层机制把每段力轨迹转换为带不确定性的物理量,再以工具结果返回给模型。

这一转换把模型任务从“阅读并解释力波形”改成“读取物理状态并决定下一步动作”,与机器人智能体常见的工具调用范式一致。摘要中的消融显示,较小的模型在接收物理量而不是原始力值时明显更容易做出正确决策,说明结构化表示并非附属功能,而是让冻结模型获得力觉的关键环节。

代价是翻译层会压缩高频触觉细节。如果标定、异常值过滤或不确定度估计不准确,模型可能对接触强度、滑动趋势或碰撞状态作出错误判断。论文也未说明模型是否会被显式训练去利用不确定度字段,因此“输出不确定度”不能直接等同于“模型会进行风险感知决策”。

关键工程权衡

控制带宽与任务适应性

把快速力闭环放在模型下方,是该系统最有效的设计取舍。它避免让远程模型承担毫秒级伺服任务,但也把接触阶段限制在预定义原语的能力范围内。对于插拔、精确装配、柔性物体等需要连续视觉—力融合的任务,固定原语是否足以覆盖,值得单独验证。

传感器精度与部署成本

腕部力传感器提供更直接的测量,却增加成本、线缆和标定流程;仅用关节力矩可减少硬件,但把模型误差、摩擦和负载变化引入力反馈链路。部署时应同时测量绝对误差与接触发生时的检测延迟,而不是只比较最终成功率。

物理抽象与细节损失

结构化物理量降低了模型的认知负担,也改善了小模型的零样本表现,但会丢失高频冲击、微小滑动和接触纹理。对需要辨别材质、滑移或精细装配的任务,物理量工具结果可能过于粗糙;更合理的方案是按任务在低频状态与高频事件之间分层传输。

冻结API带来的便利与波动

无需微调使ForceHarness可以接入不同厂商的多模态模型,也降低了训练数据需求。不过,系统仍受API版本变化、输出随机性、网络尾延迟和服务限流影响。生产部署必须记录模型版本、提示词、工具参数和每次工具调用时间戳,否则难以复现一次成功究竟来自模型能力还是执行路径偶然性。

评测表现:结果强,但证据链尚未闭合

| 评测场景 | 实验设置 | 论文报告结果 | |---|---|---| | 真实机械臂,无腕部力传感器 | GPT-6 Astra零样本操控 | 成功率由3.3%提升至90.0%,绝对增加86.7个百分点 | | 公开ForceBench | 与对照方案在相同条件下比较 | 成功率增加17.5个百分点 | | HiddenPhys七任务MuJoCo基准 | 与专家控制器及力感知策略比较 | 成功率增加34.3个百分点,超过示范训练的力感知策略,并追平HiddenPhys上的手写专家控制器 | | 模型规模消融 | 物理量工具结果与原始力值对比 | 较小模型接收物理量时决策表现显著更好 |

这些结果支持的是系统组合有效,而不是GPT-6 Astra本身获得了新的基础模型能力。图像条件下的基线无法观察接触力,ForceHarness补齐这一输入后,成功率大幅上升符合机器人任务的信息瓶颈特征;HiddenPhys中超过示范训练策略的结果则说明,物理量接口有机会替代部分任务特定策略学习。

但摘要没有提供试验次数、置信区间、随机种子、逐任务结果、模型采样参数、API延迟、传感器噪声、负载配置和成功判定标准,因而无法判断90%是否对特定任务、机械臂或提示词高度敏感。HiddenPhys的隐藏物理变量是否真正隔离、基准参数是否经过反复调节,也需要结合全文和代码审计,防止harness在评测集上形成隐性过拟合。

此外,任务成功率不能完整代表系统质量。相同成功率下,更低的峰值接触力、更短的完成时间、更少的误触发和更平滑的轨迹可能对应更安全的机器人。摘要尚未报告力超调、碰撞率、循环时间、API调用次数、人工干预次数以及失败后的恢复能力。

开发者落地建议

1. 先建立可解释的基线

分别测试纯图像控制、原始力值输入和ForceHarness物理量输入,并保持模型版本、提示词、任务对象与成功判定完全一致。只有这样,才能分离“新增力信息”和“harness控制策略”各自带来的收益。

2. 把标定和漂移检测放在上线前

对腕部传感器和关节力矩两条路径分别记录静态偏置、重复性、温漂、负载敏感度及碰撞点误差。工具结果应包含物理单位、测量时间、估计不确定度、停止原因和校准版本,避免模型把漂移后的读数误认为真实接触变化。

3. 明确工具接口与失败语义

建议工具结果至少提供目标力、实测力、变化率、不确定度、是否发生接触、终止原因和时间戳。模型不仅要能请求继续施力,也必须能区分达到目标、未检测到接触、超限和传感器异常,不能把所有非成功状态压缩成同一个布尔值。

4. 设置独立安全控制层

力上限、关节位置与速度限制、工作空间围栏、看门狗定时器和物理急停应独立于API模型运行。模型只能请求动作,不能覆盖底层安全限制;对高风险任务,还应使用独立的碰撞或电流传感器交叉验证接触事件。

5. 用多维指标验收

除任务成功率外,至少同时跟踪峰值力、力RMSE、过冲率、误接触率、首次接触延迟、任务周期、API尾延迟、人工接管率和每成功任务成本。仿真阶段应覆盖接触刚度、摩擦、负载、传感噪声、执行延迟和视觉遮挡变化,再逐步迁移到真机。

工程结论

ForceHarness的核心贡献不是训练一个更强的机器人模型,而是重新划分冻结多模态模型与控制器之间的职责:模型负责高层语义决策,本地原语负责快速接触闭环,物理量翻译层负责把传感器世界整理成模型可用的工具结果。真实机械臂和HiddenPhys结果说明,这条路径值得复现;但在缺少方差、控制器细节、成本数据和公开实现之前,90%应被视为作者报告的系统级结果,而非已经确立的通用能力上限。


消息来源:Hugging Face Daily Papers (2026-11-16)

—— 完 ——

主题标签: #ForceHarness #机器人操控 #力反馈 #冻结多模态模型 #HiddenPhys

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…