代码拉取完成,页面将自动刷新
createTime
: 2017年06月02 下午4:47
本项目主要用于学习爬虫知识搭建的项目,目标是做一个分布式多网站小说智能爬虫,动态提交爬取任务,单线管理,多ip终端防反扒(使用Eureka server 管理自服务的心跳连接)
目前正在初始开发中。完成后的功能主要有:
提供restful接口对外显示整个小说库的数据,需实现安全认证
提供一套界面用于管理爬取网站的规则
提供一套简易风格界面用于阅读小说
EurekaServerApplication
的main
方法story-admin
和frontend
中的application-dev.yml
文件中的数据库连接账号和密码story-admin
,项目第一次启动会往数据库中建立初始脚本story-worker
.story-frontend
在浏览器输入http://localhost:3333/api/v1/search?name= 填写搜索的书名
例如输入http://localhost:3333/api/v1/search?name=逆鳞
返回的结果如下: {
"code": 200,
"data": {
"stories": [
{
"newChapter": "第七百一十八章、风再起时!【卓雅居全文字秒更】",
"resourceSite": null,
"chapters": null,
"author": null,
"lastUpdateDate": null,
"name": "逆鳞",
"id": null,
"bookUrl": "http://www.sodu.cc/mulu_26997.html",
"resourceSiteUrl": null
},
{
"newChapter": "第163章 化敌为友",
"resourceSite": null,
"chapters": null,
"author": null,
"lastUpdateDate": null,
"name": "逆鳞苍穹传",
"id": null,
"bookUrl": "http://www.sodu.cc/mulu_458710.html",
"resourceSiteUrl": null
}
]
},
"message": null,
"success": true
}
本地能成功跑起项目后,输入localhost:3333/swagger-ui.html查看API文档,文档使用swagger-ui 截图展示:
├── common-utils 公共工具类
├── eureka-server 服务注册发现中心,用于做多个worker集线管理
├── story-admin 后台管理界面,管理抓取规则等功能
├── story-api 公共api
├── story-dao 数据访问层
└── story-frontend 前端访问层,主要用于小说内容访问层
└── story-worker 小说抓取器,有关爬虫相关的操作均由worker去操作
交流QQ群:536747201
项目所选用的技术框架以及工具(包括但不限于):
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型