squirrel（聚哩猫）是一款基于Java语言开发，借助webmagic框架实现的聚合科技资讯爬虫项目，享受24H科技新闻速览。

一个通用的爬虫

使用springboot、spring-data-jpa、webmagic等技术，定时爬取爱奇艺视频、360视频

基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件，镜像自：https://github.com/xautlx/nutch-htmlunit

外卖拼单（目前仅美团外卖、饿了么） 抓取外卖网站的餐厅和菜品信息，然后提供拼单、自动拆单、手工调整功能，方便同事们点外卖，以及费用计算

音乐歌单目录导出软件，网易云等各大音乐平台由于版权问题，间歇性的会让一些收藏的音乐无法播放，所以做了这个小软件，把常见的音乐网站的个人收藏的歌单导出备份，目前实现导出网易云音乐个人收藏的歌单，后面再不断兼容其他音乐网站的歌单导出功能吧。 后续计划： 1.模拟登陆直接导出，无需下载静态页面导出；   2.跨音乐网站，把本地歌单文件导入其他音乐网站；

爬虫框架，通用爬虫框架，设计参考八爪鱼、火车头等爬虫软件，采用“页面+接口”可以混用的方式进行采集数据。 任务因中断导致没采集完数据，后续执行不重复采集相同数据。

java spring+mybatis整合实现爬虫之《今日头条》搞笑动态图片爬取（详细）

Java爬虫实现，SpringBoot + HttpClient+Jsoup 爬虫Demo，满屏注释，适合入门

扩展性高，轻的开源爬虫框架Slit

简易的网站图片爬虫，使用简单，代码可二次开发，性能高效基于多线程和并行计算的网络图片程序源码

CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试，但Javascript不太容易执行数据持久化和数据分析，而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。

基于java的爬虫系统，可爬取国内主流视频网站的视频数据，目前支持爬取豆瓣、猫眼、IMDB、百度百科、优酷、电视猫数据。

自己的简易爬虫框架

JFinal+JSoup开发的爬虫案例—抓美女