Fire框架是中通大数据自主研发并开源的大数据框架，专为Spark和Flink任务开发设计，可显著降低70%以上的代码量。该框架创新性地采用基于注解的方式进行Spark和Flink任务开发，并集成了实时血缘追踪、根因诊断、动态调优以及参数热调整等多项平台化功能。Fire框架已被数十家公司采用，累计收获了近千个Star，并拥有超过200人的社区，其中包括来自美团、阿里巴巴、作业帮等知名企业的成员。
最近更新: 9小时前实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
