巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统,提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控,并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。
最近更新: 2年多前大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写;集成了规则引擎,可基于规则引擎实现客户标签、画像等相关功能。
最近更新: 2年多前基于Flink Rest API 二开的Web 控制台,支持作业管理、Savepoint及持久化,实时数据同步功能(Binlog),多集群管理,开箱即用!!!
最近更新: 2年多前