Dagster 是一个业务流程协调程序，旨在开发和维护数据资产，例如表、数据集、机器学习模型和报表。 声明要运行的函数以及这些函数生成或更新的数据资产。然后，Dagster 可帮助您在正确的时间运行函数，并使资产保持最新状态。 Dagster 旨在用于数据开发生命周期的每个阶段 - 本地开...
最近更新: 7个月前Apache InLong（应龙）是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。
最近更新: 7个月前罗盘是一个大数据任务诊断平台，旨在提升用户排查问题效率，降低用户异常任务成本。 其主要功能特性如下： 非侵入式，即时诊断，无需修改已有的调度平台，即可体验诊断效果。 支持多种主流调度平台，例如DolphinScheduler、Airflow或自研等。 支持多版本Spark、Hadoop 2.x...
最近更新: 9个月前Apache Beam是一个统一的模型，用于定义批处理和流数据并行处理管道，以及一组特定于语言的SDK，用于构建管道和Runners，用于在分布式处理后端（包括Apache Flink，Apache Spark，Google Cloud Dataflow和Hazelcast Jet）上执行它们。
最近更新: 1年前Apache Airflow是一个开源平台，用于开发、调度、 以及监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建工作流程 与几乎任何技术连接。Web 界面有助于管理工作流的状态。气流是 可通过多种方式进行部署，从笔记本电脑上的单个进程到分布式设置，甚至支持 最大的工...
最近更新: 1年前canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理
最近更新: 1年前
