GaussianRenderFormer用Transformer直出3D高斯图像

摘要：GaussianRenderFormer探索用神经网络取代3D Gaussian Splatting中的显式光栅化器：编码器将每个高斯视为Token，视角相关解码器则让相机射线Patch通过注意力机制直接生成像素。模型在26,820个Objaverse对象上训练，并在300个未见对象上取得38.08 dB PSNR；同一剪枝输入经传统光栅化可达44.02 dB。诊断实验把差距指向视角解码器瓶颈，但训练不足仍未被排除。该工作展示了可微、端到端渲染器的可行性，也暴露出注意力渲染在画质与效率上的现实代价。

---

核心思路：让Transformer直接执行渲染

GaussianRenderFormer把3D Gaussian Splatting中的光栅化步骤改写为一个端到端神经渲染问题。输入是一组3D高斯参数和相机位姿，输出是目标视角的图像；渲染器内部不显式执行传统的高斯投影、排序、混合与像素合成。

其结构分为两部分：

• 视角无关编码器：将每个3D高斯编码为一个Token。高斯的位置、协方差、颜色、不透明度等属性可以组成初始特征，再由Transformer提取高斯之间的全局依赖。
• 视角相关解码器：把相机射线划分为若干局部Patch，通过注意力机制访问高斯Token，再把射线与几何属性编码为查询，直接预测像素颜色。

这种设计与NeRF式的“坐标查询”不同：模型不必为每条射线独立反演场景密度，而是在一组高斯Token上做跨高斯聚合，再由视角相关模块完成屏幕空间映射。

为什么要移除光栅化器

传统3DGS光栅化器优势明确：计算路径短，GPU实现成熟，并可借助近似排序高效完成alpha blending。其问题则是渲染过程包含大量非微分的工程假设，尤其是投影、可见性判断和像素混合边界。

GaussianRenderFormer的价值在于探索一种统一、可微、可学习的渲染路径：所有误差都可以从输出图像反向传播到高斯表示和Transformer参数。如果该范式继续发展，可能为可微几何优化、相机姿态细化、跨视角一致性和端到端场景生成提供统一接口。

不过，“不用光栅化器”不等于“无需几何计算”。高斯仍需投影到图像平面，Transformer也必须理解尺度、遮挡和屏幕空间覆盖范围。研究结果尤其表明，视角相关解码器没有充分利用这些信息，正是当前质量差距的重要来源。

训练设置与泛化结果

模型使用来自Objaverse的26,820个对象训练，每个对象剪枝到20,000个高斯。作者在300个未见对象上测试，学习式渲染器取得 38.08 dB PSNR。作为关键对照，同一组剪枝高斯交给传统光栅化器可达到 44.02 dB，两者相差5.94 dB。

这个对照很重要，因为差距并非来自“学习式方法面对完整高斯、光栅化面对剪枝高斯”的不公平输入。实验实际上同时揭示两件事：

1. 高斯剪枝造成的损失相对有限，完整高斯光栅化并不是38 dB学习式渲染的直接参照。
2. Transformer渲染器已经能形成可用的新视角图像，但尚未达到光栅化器对显式屏幕空间混合规则的建模精度。

作者进一步认为，结果不像主要由训练集与测试集之间的分布泛化失败造成，因为未剪枝模型与剪枝模型都暴露出相近的视角解码限制。不过，现有摘要没有提供完整的泛化消融、置信区间或多随机种子结果，因此不能排除部分归因仍来自训练数据覆盖或训练方差。

解码器瓶颈的诊断

研究向解码器额外提供每个高斯投影后的覆盖范围后，PSNR提升 1.4 dB。投影足迹本来原则上可以从高斯参数与相机位姿推导出来，因此显式提供它相当于对模型进行定向补强。

这组结果把问题缩小到几个具体环节：

• 解码器可能没有稳定地从Token中恢复每个高斯在屏幕空间的中心和尺度。
• 软注意力聚合可能无法准确表达高斯之间的遮挡顺序。
• 局部射线Patch与高斯Token之间可能存在分辨率或感受野失配。
• 训练尚未充分迫使模型学习精确的alpha混合行为。

但提升1.4 dB仍未完全填补5.94 dB的总差距，因此“投影足迹缺失”不是唯一解释。作者也明确保留训练不足的可能，现有证据更支持“视角解码器存在瓶颈”，尚不足以严格证明瓶颈的具体成因。

工程权衡：质量、速度与可解释性

从生产渲染角度看，学习式方案有三条潜在优势。

第一，渲染过程可以被神经网络统一表达，避免显式处理每个高斯的排序、可见性与混合边界。这对需要端到端梯度传播的任务尤其有吸引力。

第二，Transformer能够利用高斯之间的全局关系，而传统光栅化更偏向按投影位置执行局部操作。若解码器能够可靠识别屏幕空间结构，注意力机制可能整合遮挡与尺度信息。

第三，模型可以把几何、材质和相机条件编码到统一推理流程中，为动态场景或可学习表示提供接口。

代价也同样明显。首先，传统光栅化拥有高度优化的GPU内核；将大量高斯Token与射线Patch送入Transformer，可能显著增加显存访问和矩阵乘法。其次，注意力复杂度随高斯数量、射线Patch数量和Token维度增长，论文摘要没有披露实际FPS、延迟、显存峰值或训练成本，因而无法判断它是否适合实时渲染。

此外，当前结果距离传统3DGS仍有明确画质差距。即使38 dB PSNR能够生成视觉上可用的结果，细节、遮挡边界、透明材质和高频纹理仍可能暴露回归。对于影视级离线渲染，高PSNR通常只是必要条件之一；对于VR或数字人等实时场景，帧率和时延约束更为关键。

评测仍需补齐的部分

PSNR是判断像素重建误差的有用指标，但不能完整描述3D渲染质量。后续评测至少应补充：

• LPIPS、SSIM与感知质量：验证高频纹理和结构感知结果，而不仅是像素误差。
• 遮挡区域分解：分别评估前景边界、可见表面和被遮挡区域，判断损失来自排序还是混合。
• 速度与显存基准：报告不同高斯数量、分辨率和GPU上的训练时间、推理延迟、FPS与峰值显存。
• 消融实验：比较射线Patch大小、Token维度、注意力层数、相机编码方式及投影足迹注入策略。
• 训练充分性检验：使用更长训练调度、更多随机种子及容量匹配模型，区分结构性瓶颈与优化不足。

现有实验通过控制剪枝输入，给出了可信的相对比较，也提供了有价值的中期诊断；但它更像证明“学习式直接渲染可行”，尚未证明其已经优于成熟光栅化管线。

开发者落地建议

若要将GaussianRenderFormer用于研究原型，可优先围绕三个方向验证。

第一，将其作为可微渲染器接入相机优化、场景编辑或高斯参数学习流程，观察Transformer是否确实比解析光栅化提供更稳定的端到端梯度。

第二，复用论文提供的代码、模型和视频建立统一基线，并加入投影足迹提示，验证该诊断能否在独立数据和更高分辨率上复现。

第三，在真实资产上同时测量视觉质量与系统成本。即便重建质量接近传统3DGS，只要Transformer解码无法满足帧率要求，也应考虑混合架构：保留光栅化器处理最终像素合成，仅让神经网络预测可见性、混合权重或残差。

GaussianRenderFormer最值得关注的地方，不是它已经取代了3DGS光栅化，而是它把这一方向从概念验证推进到了具有量化诊断的新阶段。当前更合理的结论是：Transformer已经能够直接从高斯表示生成图像，但视角相关解码仍是决定画质的主要工程瓶颈。

---

消息来源：Hugging Face Daily Papers (2026-11-03)

—— 完 ——

主题标签： #3D Gaussian Splatting 关注 #Transformer渲染 关注 #神经渲染 关注 #可微渲染 关注