扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
不懂数据采集技术,也可轻松采集海量数据!简单易上手,人人可用的数据采集工具!
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
爬虫项目,微信公众号文章爬虫,网站文章爬虫,群发邮件系统
🔥 官方推荐 🔥 java爬虫工具,4.0重构版本,让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单;内置持久化接口,轻松定义爬取记录。
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
web网络爬虫,精简,快速上手;Jsoup实现,支持cssQuery语法,支持爬取数据到数据域(Bean对象)的动态和静态转化,支持IP代理,支持数据爬取和解析时监控,;完整示例:简单使用示例,小说爬取示例,IP代理池爬取示例;
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!