arXiv提出ATR扭曲技术：提升PFNs在贝叶斯优化中的性能

摘要：arXiv发布的研究提出了一种名为各向异性信任区域（ATR）扭曲的新技术，用于提升先验数据拟合网络（PFNs）在贝叶斯优化中的性能。ATR通过核目标对齐估计每个维度的长度尺度，并通过仿射重缩放将目标映射到PFN预期的长度尺度，同时保留信任区域以决定保留哪些观测值。这种方法在不重新训练网络的情况下，显著改善了PFNs在目标函数长度尺度超出训练先验范围时的预测和优化性能。

---

技术机制剖析

贝叶斯优化中的先验数据拟合网络（PFNs）通过单次前向传递替代了高斯过程（GP）代理模型中的超参数重新拟合，但其代价是固定的训练先验。当目标函数的长度尺度超出PFN训练先验的范围时，PFNs的预测对数似然会逐渐落后于重新拟合的GP，从而影响优化性能。

为了在不重新训练网络的情况下纠正这种不匹配，研究团队提出了各向异性信任区域（ATR）扭曲技术。ATR通过核目标对齐估计每个维度的长度尺度，并使用仿射重缩放将目标映射到PFN预期的长度尺度。信任区域围绕锚点确定保留哪些观测值，而PFNs的$\mathcal{O}(d \cdot N^2)$推理成本保持不变。

工程权衡与实测表现

ATR扭曲技术在Matérn-3/2核生成的目标函数上进行了测试，结果表明其在长度尺度的两个极端范围内均能提升PFNs的优化性能。这一改进的关键在于ATR能够自适应地调整输入空间以匹配PFN的预期，同时保留PFNs的低推理成本。

然而，ATR也引入了一些权衡。首先，ATR需要额外的计算来估计长度尺度和执行仿射重缩放，这可能会增加一些预处理开销。其次，ATR的效果依赖于核目标对齐的准确性，在某些复杂目标函数上可能需要更精细的调整。

开发者落地与部署建议

对于希望提升PFNs在贝叶斯优化中性能的开发者，ATR扭曲技术提供了一种无需重新训练网络的解决方案。以下是一些部署建议：

1. 评估目标函数特性：在应用ATR之前，评估目标函数的长度尺度特性，以确定ATR是否适用。
2. 调整信任区域参数：根据具体应用场景，调整信任区域的参数以获得最佳性能。
3. 监控预处理开销：在资源受限的环境中，监控ATR的预处理开销，确保其不会对整体性能产生负面影响。

结论

ATR扭曲技术为PFNs在贝叶斯优化中的应用提供了一种有效的改进方法，特别是在目标函数长度尺度超出训练先验范围的情况下。通过自适应调整输入空间，ATR能够在不增加推理成本的情况下，显著提升PFNs的预测和优化性能。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-30)

—— 完 ——

主题标签： #贝叶斯优化 关注 #PFNs 关注 #ATR扭曲 关注 #深度学习 关注 #arXiv 关注