Spark快速开发框架,提高开发效率,主要针对离线任务场景
Spark快速开发框架,提高开发效率,主要针对离线任务场景
从Json配置里面读取并创建Spark任务并生成DAG流程图,不用再根据不同的需求,开发不同的Spark程序。 目前支持的业务有,指定HDFS文件目录,过滤行,过滤列。Join操作,Union操作,Group分组汇聚操作(max,min,count,sum,avg)。 可自定义输出目录和文件格式。
最近一年贡献:0 次
最长连续贡献:0 日
最近连续贡献:0 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。