1 Star 5 Fork 1

hoppinzq/Java蜘蛛爬虫

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

Java爬虫


🎤介绍

本项目是java版的爬虫,集成了webMagic、you-get。最大的亮点是编写了一个蜘蛛爬虫,配合lucene,你可以自己实现一个类似百度搜索的功能。

👉 演示网站点我
👉 文档点我

💡灵感

很久之前我的短视频网站就有使用爬虫,可以将bilibili的视频直接爬到我的网站,当时使用的python,搞了个歪招集成在Java项目里。之后我的博客项目也使用了爬虫,在写博客的页面那里。 初衷是方便我把csdn和博客园的博客导入到我的博客里,就使用 webmagic 框架写了三个爬虫,分别针对csdn、博客园、微信公众号。最后就想把这些爬虫集合在一起,就成了现在这样。

📗文档

✏️我的博客

📷截图

💦类似于百度搜索的实现,案例已经抓取了足够的链接供测试

快来试试吧

🌳特性

快来试试吧

▶️CSDN爬虫,可将指定的CSDN博客链接下的博客爬取出来内容

快来试试吧

㊙️东方project

快来试试吧

🆙bilibili 亁杯🍺

快来试试吧

📁爬虫配置

快来试试吧

🎬反馈

🌷你可以发起 Issue 或者 在爬虫网站反馈

😘感谢

webMagic

📄License

MIT

MIT License Copyright (c) 2022 hoppin Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

可以做一个自己的百度!!!在线访问http://150.158.28.40:8806/index.html 展开 收起
Java 等 3 种语言
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Java
1
https://gitee.com/hoppin/java-spider-crawler.git
git@gitee.com:hoppin/java-spider-crawler.git
hoppin
java-spider-crawler
Java蜘蛛爬虫
master

搜索帮助