新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
🔥🔥🔥 Apache DolphinScheduler是新一代分布式大数据工作流任务调度平台,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。已经有IBM、阿里、腾讯、360、JD等 3000 多家公司生产上使用,下载安装包请去官网
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
最近一年贡献:7 次
最长连续贡献:1 日
最近连续贡献:1 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。