OpenDCAI 发布 RayOrch：优化基础模型数据准备的多粒度数据流编程与执行引擎

摘要：OpenDCAI 推出 RayOrch，这是一款专为处理基础模型训练数据而设计的编程模型与分布式执行引擎。RayOrch 通过保留父子关系、顺序和结果路由等特性，解决了现有系统在处理复杂数据流时的局限性。其在 NVIDIA H20 GPU 上的测试显示，RayOrch 在不同场景下实现了显著的性能提升，例如在 MinerU 上比 Ray Data 快 13.1%，比 Daft 快 29.0%，在 Docling 上比 Ray Data 快 16%。RayOrch 的发布为 AI 训练数据准备提供了更高效的解决方案，尤其适用于处理长尾分布和复杂依赖关系的数据集。

---

核心突破

RayOrch 是 OpenDCAI 推出的一款新型编程模型与分布式执行引擎，专为处理基础模型训练数据而设计。其主要技术亮点包括：

• 保留父子关系：RayOrch 在执行过程中始终保留数据项之间的父子关系，确保数据处理的准确性和一致性。
• 多粒度数据流处理：支持有序且输入依赖的子项扩展，并能在 GPU 上高效地批量处理跨父项的子项，同时保持子项的顺序和完成状态。
• 高效错误处理：引入类型化的父作用域故障机制，在不影响其他父项的情况下抑制未分派的子项，从而提高系统的鲁棒性。
• 性能优化：在 NVIDIA H20 GPU 上，RayOrch 在不同场景下实现了显著的性能提升，例如在 MinerU 上比 Ray Data 快 13.1%，比 Daft 快 29.0%，在 Docling 上比 Ray Data 快 16%。

技术解析

RayOrch 的核心创新在于其编程模型和运行时系统。程序通过声明有序的变量基数扩展和异步匹配来定义数据流，而编译器则验证每对匹配项的正确性。运行时系统记录子项成员关系、直接父项、不变的序号和终止状态，并通过 FIFO 队列批量处理就绪的子项。

此外，RayOrch 的结果重构机制基于声明的成员关系和序号，而不是批处理边界或完成顺序，这使得系统能够更灵活地处理复杂的数据依赖关系。

行业影响

RayOrch 的发布为 AI 训练数据准备领域带来了新的解决方案，尤其适用于处理长尾分布和复杂依赖关系的数据集。其性能优势使其成为 GPU 加速数据处理任务的有力工具。

对于开发者而言，RayOrch 提供了一种更高效、更可靠的方式来处理复杂的数据流任务，减少了手动管理数据依赖关系的负担。

开发者建议

• 尝试 RayOrch：对于需要处理复杂数据流的 AI 项目，建议尝试使用 RayOrch 以提升数据准备效率。
• 关注性能优化：RayOrch 在 GPU 上的性能表现优异，建议在硬件资源允许的情况下，充分利用其性能优势。
• 参与开源社区：RayOrch 的代码已开源，开发者可以参与社区讨论，分享使用经验并贡献代码。

---

消息来源：Hugging Face Daily Papers (2026-09-16)

—— 完 ——

主题标签： #RayOrch 关注 #数据流处理 关注 #GPU加速 关注 #基础模型 关注 #OpenDCAI 关注