Ordered-AR提出新方法：解锁预训练自回归图像模型的任意顺序生成能力

摘要：Ordered-AR团队提出了一种新方法，通过未来感知位置嵌入和有序课程学习，将预训练的自回归（AR）图像模型转化为支持任意顺序生成的模型。该方法在ImageNet数据集上的实验表明，其在图像修复和扩展任务中显著优于现有方法（如MaskGIT），同时保持与标准AR推理栈的兼容性。该研究展示了无需从头训练即可解锁现有AR模型的灵活生成能力，为AI图像生成领域提供了新的技术方向。

---

技术机制剖析

自回归（AR）图像生成模型在理论上具有强大的生成能力，但在实际应用中面临灵活性不足的问题。传统的训练方式采用固定的栅格扫描顺序，将图像分布的单一分解方式硬编码到模型中，导致其在推理时无法进行图像修复、扩展或编辑。现有的解决方案，如离散扩散模型，需要从头开始训练，并混合多种token顺序，这使得计算成本约为标准栅格扫描训练的3倍。此外，离散扩散模型还牺牲了与AR推理生态系统的兼容性（如KV缓存、vLLM）。

Ordered-AR团队提出了一种新方法，通过以下两个关键组件将预训练的自回归模型转化为支持任意顺序生成的模型：

1. 未来感知位置嵌入：解决了目标位置的可识别性问题，且计算开销可忽略不计。
2. 有序课程学习：从预训练解决方案到良好任意顺序生成空间的稳定优化路径。

工程权衡与实测表现

该方法应用于四种基础模型（LlamaGen-L/XL，RAR-L/XL），在ImageNet数据集上的图像修复任务中，其FID为6.21，显著优于MaskGIT的10.44。在图像扩展任务中也表现出色，并且与MAR-L模型竞争。该方法在灵活性上仅需增加1.2-1.9的类条件FID，同时计算成本仅比预训练多13-33%，且无需修改标准AR推理栈。

开发者落地与部署建议

该方法的优势在于其对现有预训练模型的兼容性，开发者无需从头训练即可解锁任意顺序生成能力。推荐在以下场景中应用：

• 图像修复与扩展：适用于需要灵活生成能力的应用场景。
• 多模态交互：在需要跨模态生成的任务中，该方法提供了更高的灵活性。
• 资源受限环境：由于无需从头训练，该方法在计算资源有限的情况下更具优势。

此外，建议开发者关注以下方面：

• 模型微调：在特定任务上进行微调，以进一步提升生成质量。
• 性能优化：结合其他优化技术（如量化、剪枝）以降低推理成本。

结论

Ordered-AR提出的方法展示了预训练自回归图像模型在任意顺序生成中的潜力，为AI图像生成领域提供了新的技术方向。

---

消息来源：Hugging Face Daily Papers (2026-10-29)

—— 完 ——

主题标签： #自回归模型 关注 #图像生成 关注 #任意顺序生成 关注 #Ordered-AR 关注