Apache DolphinScheduler(incubator,原EasyScheduler)是一个分布式工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
最近更新: 4年多前Data模块作用为数据的爬取;前台模块是用户操作和个性化推荐算法实现的模块;后台管理模块主要是管理员对系统中所有信息的操作;用户服务模块用户登录注册的服务模块。其中前台模块主要是用户操作和个性化推荐算法实现的模块使用了“zero算法”zero算法通过对用户浏览记录的分析,从而得到相同兴趣的用户,及时提供最适合用户的推荐结果。
最近更新: 接近6年前本公司与华为及Tamr算法治理三方合作项目,公司负责定制一款大数据平台前期大数据处理的辅助软件。web端采用React+flux+react-router+gulp构建;后台服务java.
最近更新: 接近6年前基于spark的用户行为分析系统
最近更新: 接近6年前基于华为大数据平台FusionInsight的流数据处理服务。实时采集日志文件,经过数据清洗、解析、标准化等处理后,将数据落地到数据库,供后续其他服务程序使用。
最近更新: 接近6年前