ArXiv发布4DStreamCtrl：实现实时可控的4D视频生成模型

摘要：ArXiv团队推出4DStreamCtrl，这是一款创新的视频生成模型，能够在实时流式生成中实现对相机运动、物体轨迹和深度的联合控制。该模型通过将3D点轨迹表示与轻量级几何运动头结合，并采用因果流式学生模型进行蒸馏，首次实现了交互式4D可控视频生成。其在单张高端GPU上以20 FPS的速度生成480p视频，并保持数百帧的时间一致性，展示了在交互式世界模型和实时视觉想象领域的巨大潜力。

---

技术突破与核心创新

• 3D点轨迹表示：4DStreamCtrl通过将相机运动、物体轨迹和深度信息统一为3D点轨迹表示，实现了更高效的联合控制。
• 轻量级几何运动头：该模型采用轻量级几何运动头进行编码，并将其与预训练的扩散模型结合，实现了高效的3D运动监督。
• 因果流式学生模型：通过蒸馏技术，4DStreamCtrl能够以因果方式生成任意长度的视频，且内存消耗与视频长度无关。
• 实时性能：在单张高端GPU上，该模型以20 FPS的速度生成480p视频，并保持数百帧的时间一致性。

技术亮点

1. 多模态控制：首次实现对相机运动、物体轨迹和深度的联合控制，超越了现有仅控制相机或仅控制2D轨迹的方法。
2. 实时流式生成：通过因果流式学生模型，4DStreamCtrl能够实时生成视频，解决了传统3D方法只能离线生成的问题。
3. 高效蒸馏技术：采用蒸馏技术将模型压缩为因果流式学生模型，显著降低了内存消耗和计算成本。

行业影响与开发者建议

• 交互式应用：4DStreamCtrl为虚拟现实、增强现实和实时视频编辑等交互式应用提供了新的技术路径。
• 开发者工具：开发者可以利用该模型构建更复杂、更具沉浸感的视频生成应用。
• 未来方向：未来研究可以进一步优化模型的实时性能，并探索其在多智能体交互和动态场景生成中的应用。

结论

4DStreamCtrl展示了在实时可控视频生成领域的重大突破，为AI驱动的交互式应用开辟了新的可能性。其高效的设计和强大的功能使其成为视频生成领域的重要工具。

---

消息来源：ArXiv cs.AI (2026-08-26)

—— 完 ——

主题标签： #ArXiv #视频生成 #实时控制 #3D点轨迹 #因果流式模型