数据处理和编排项目
流处理极速开发框架, 流批一体 & 湖仓一体的云原生平台, 一站式流处理计算平台
Dagster 是一个业务流程协调程序,旨在开发和维护数据资产,例如表、数据集、机器学习模型和报表。 声明要运行的函数以及这些函数生成或更新的数据资产。然后,Dagster 可帮助您在正确的时间运行函数,并使资产保持最新状态。 Dagster 旨在用于数据开发生命周期的每个阶段 - 本地开发、单元测试、集成测试、暂存环境,一直到生产。
Apache DolphinScheduler是一个分布式和可扩展的开源工作流协调平台,具有强大的DAG可视化界面