基于Spring Cloud、OAuth2.0开发基于Vue前后分离的开发平台，支持账号、短信、SSO等多种登录，提供配套视频开发教程

这是pig的指定配置文件，请点击右上角fork到自己的库

基于Spring Cloud、oAuth2.0开发基于Vue前后分离的开发平台，支持账号、短信、SSO等多种登录，提供配套视频开发教程

(因个人精力有限，基本功能已具备，其他操作功能还待继续完善) 整个分布式基于springboot,zookeeper,redis,netty,mysql等基础开源框架实现。 1.springboot作为整个项目的管理容器， 2.zookeeper作为整个集群几点注册和发现， 3.redis用来作为集群缓存和工作空间实现, 由于redis支持rpush lpop队列操作,然后lpop,rpush 操作数据key,hset,hget操作实际存储数据来实现redis队列ack,数据实际处理完后再hdell数据 4.netty用来作为节点间通信, 5.mysql用存储持久化数据. 项目仅仅为一个可执行jar. 下载器:支持okhttp,phantomjs,chrome3种下载方式. 提供了登录，验证码识别接口， 实现了根据站点code切换代理Ip(基于redis实现的http代理管理队列) 解析: 支持普通cssQuery 抽取元素, 表格单条数据抽取，表格多条数据抽取，json抽取,正则抽取。 支持自定义解析结果。 抽取结果存储:支持数据库，http发送 ,文件等存储方式

分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了

用于测试工具类