先验拟合扩散Transformer：用上下文内Thompson采样突破高斯过程限制

摘要：这项研究提出先验拟合扩散Transformer，把Thompson采样从依赖高斯过程后验的黑盒优化流程，转化为扩散模型在推理阶段执行上下文内采样。模型通过非高斯先验表达单峰等高斯过程难以覆盖的函数形态，并在全球优化基准上取得优于传统高斯过程管线的结果。研究还分析模型规模与预训练迭代的权衡，指出其性能呈类似其他模态Transformer的扩展规律，为高维、昂贵且无解析后验的黑盒优化提供了新的建模路径。

---

核心思路：用生成模型替代高斯过程后验

传统Thompson采样在连续全局优化中通常依赖高斯过程（GP）：先根据已观测的输入—输出对构造后验，再从后验中采样一个候选函数，并选择该函数的全局最优点。其优势是贝叶斯建模过程完整，但在高维、非平稳或具有非高斯结构的目标函数上，精确后验推断往往代价高昂，甚至没有可用的解析形式。

这项研究提出先验拟合扩散Transformer（prior-fitted diffusion transformers）。模型先按照先验拟合网络范式进行预训练，使参数隐式编码目标函数族的分布；部署时无须显式拟合GP后验，而是把历史观测放入上下文，通过扩散过程在推理阶段生成候选函数，再从生成函数中提取优化点。这相当于把“后验更新”转化为“条件生成”，同时保留Thompson采样所需的随机探索机制。

从概率视角看，该方法不是简单地用神经网络替代GP，而是在先验层面扩展可建模的函数分布。非高斯先验可以表达单峰、偏态、局部非光滑等高斯性难以覆盖的形态；但这种灵活性由有限预训练数据和模型容量共同约束，并不会自动产生无偏后验保证。

技术机制：从条件扩散到候选最优点

模型可抽象为条件扩散过程：在若干扩散步中，从噪声状态出发，以历史函数观测作为条件，逐步去噪得到候选函数或函数参数表示。与标准函数拟合不同，Thompson采样不要求模型预测一个确定的全局最优解，而是学习从近似后验产生多样化函数样本。

这一机制带来两个工程优势。第一，候选函数可以批量生成，多个样本支持并行评估，适合计算集群上的批量黑盒优化。第二，推理时的随机性能够覆盖不同候选极小值，降低单一局部搜索陷入错误吸引盆的概率。

代价也同样明确：每个优化任务都可能需要多次上下文推理和候选函数评估。Transformer对历史观测的注意力通常随序列长度呈近似二次增长，且采样步数还会叠加推理开销。若一次函数评估成本很高，少量额外模型调用也可能抵消优化收益；因此，该方法更适合“单次评估昂贵、但可以并行批量执行”的场景，而非所有在线优化任务。

为什么需要非高斯先验

GP路线的核心限制不仅在计算成本，也在表达容量。高斯先验及其后验依赖平滑性假设，往往偏好平滑、局部二次型响应，难以刻画单峰但强非高斯、全局结构高度不规则，或最优点附近曲率变化剧烈的函数。

研究为此构造了一组面向一般黑盒函数的实用非高斯先验，其中包括单峰函数先验。此类先验并非依赖完整解析后验，而是在预训练数据生成阶段直接规定目标函数族的统计结构。其价值在于让模型从数据中学习一个“可采样后验”，从而绕开GP后验推断的瓶颈。

不过，非高斯先验的设计本身会引入模型偏差。先验假设越接近真实任务族，优化收益越高；先验设置不匹配时，模型可能稳定地产生“看似合理但错误”的候选最优点。工程上应把先验覆盖度视为超参数，而不是固定的算法组件。

扩展规律与模型—训练预算权衡

论文报告该类模型呈现类似其他模态Transformer的扩展规律，并量化了模型规模与预训练迭代数之间的取舍。这一结果的重要性在于，它将研究问题从“单个网络能否胜过GP”推进到“扩大模型和训练预算能获得多少稳定收益”。

但Transformer扩展规律不能直接等同于优化任务上的单调改进。更大的模型通常带来更高的推理显存、采样延迟和部署复杂度；更多预训练迭代则增加训练成本，却可能改善对先验函数族的覆盖。相反，小模型可以通过更长训练获得相近拟合能力，却会提高部署阶段的吞吐压力。

实际选型应同时测量：

• 单位黑盒评估带来的最终最优值提升；
• 每次优化的总模型推理次数与墙钟时间；
• 不同随机种子下的方差，而非单次最优结果；
• 模型规模扩大后，收益是否仍能覆盖显存和延迟成本。

基准表现应如何解读

论文称，在一组全球优化基准上，配合非高斯先验的先验拟合扩散Transformer优于传统高斯过程管线。这说明扩散式函数采样在部分问题上具备更好的优化表现，但不是对所有目标函数的普遍优势证明。

评估此类方法时，需要核对基准是否覆盖高维、离散约束、多峰、噪声观测和严格预算等条件。Thompson采样具有随机性，单一随机种子的结果容易高估收益；与GP比较时，还应统一函数评估预算、初始化点数、并行度、停止条件和超参数调优预算。若数据集与预训练函数族高度相似，模型还可能借助分布记忆获得不真实的泛化优势。

更可信的验证方式包括多随机种子重复实验、跨先验族测试、与经过同等调参的GP及现代贝叶斯优化基线对比，以及报告每次成功求解所需的目标函数调用数。

开发者落地建议

对于实验性应用，可以先在离线优化中验证：构造带有已知结构的目标函数，检查模型是否能恢复正确全局最优区域，而非只比较最终数值。进一步再评估真实任务中的黑盒函数，包括超参数调优、仿真器驱动设计和实验设计。

部署前建议建立三组基线：传统GP Thompson采样、随机搜索，以及成熟的现代贝叶斯优化方法。随后将评估预算统一到函数调用次数，并额外报告GPU时间、并发吞吐和能耗。如果每个候选点只能串行调用真实实验设备，推理成本必须严格受限；若函数评估可批量并行，扩散Transformer生成多个候选函数的优势才更容易兑现。

这套方法的定位不是全面取代GP，而是在GP后验难以计算、先验结构非高斯且评估可批处理时提供另一条建模路线。它最有吸引力的地方，是把黑盒优化的先验假设、函数生成和随机探索统一进一个可扩展Transformer框架；其最大风险，则是预训练先验与真实任务错配，以及扩散采样带来的额外推理成本。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-13)

—— 完 ——

主题标签： #扩散Transformer 关注 #Thompson采样 关注 #黑盒优化 关注 #高斯过程 关注 #先验拟合 关注