登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
CC-BY-SA-4.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
Java
全部语言 JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp SQL Smalltalk Delphi VHDL TeX/LaTeX M ASP Visual Basic Clojure Common Lisp Awk Haskell LiveScript Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Puppet Pawn Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Haxe Coq Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
1426388 ironzheng 1610521753

西门吹雪/pikachu

87
去吧皮卡丘，为什么取个名字叫皮卡丘，大概是这样萌一些。小哥哥是很可爱的。然后本项目是个爬虫项目，使用时候就像派出小精灵一样，派出皮卡丘，就会为你抓回对应的数据。
Java
Web爬虫
|
4年多前
324379 zhangyingwei 1578919975

Microgoople/cockroach

84
又一个 java 爬虫
Java
Web爬虫
|
5年前
428059 sdc2012 1578923507

夕阳雨晴/zhihu-spider

74
Spring Boot项目框架，结合多种开源技术，知乎信息中转持久化的数据流平台，并提供HTML+JSON和RabbitMQ等消息接口，从而使有兴趣的伙伴开发并使用其熟悉的语言环境，实现信息爬取，从而持久化到此项目中来，完成最开始的开发目标。
Java
Web爬虫
|
7年前
1155976 slkb 1578989907

思朗科博/Sman

67
一个轻量级网络多线程爬虫框架
Java
Web爬虫
|
5年多前
1646371 tyoui 1578956781

Jtyoui/sogou

63
最新代码链接:码云上不在更新
Java
Web爬虫
|
5年多前

无极小子/SeimiCrawler

62
分布式敏捷的爬虫框架
Java
Web爬虫
|
6年多前
673473 1967988842 1609901731

ggymm/Spider2.0

61
使用JCEF（chromium内核）开发的抓取数据浏览器，可以用来制作浏览器，也可以用来制作爬虫。
Java
Web爬虫
|
4年多前

gsh199449/Gather Platform

60
A configurable web spider with a easy-to-use WebUI interface
Java
Web爬虫
|
7年多前

xwlcn/Dodder

55
一个支持集群部署的分布式 DHT 网络爬虫
Java
Web爬虫
|
接近5年前
80950 hcxy 1578916693

xinshengsiyu/WechatSpider

53
java抓取微信最新推送内容
Java
Web爬虫
|
7年多前

路人甲1973/Crawler

49
Crawler基于Java开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理
Java
Web爬虫
|
3年多前
94173 daqiangge 1578917213

大强哥/SpiderV

48
java编写的带有web管理后台的抓取程序，自动生成搜索URL，简单实现数据抽取即可，支持多机，任务定时自动运行等功能，提供各种扩展点，适应各种情况
Java
Web爬虫
|
10年多前
145212 gitclebeg 1620614744

gitclebeg/nlp-spider-dynamic

46
nlp项目基础框架：爬虫，针对动态网页（JS）的专有爬虫
Java
Web爬虫
|
5年多前
670 panmingguang2004 1578913850

panmingguang/cocook-spider

38
分布式数据抓取平台
Java
Web爬虫
|
8年多前

logic/QuickCompanyCollect

38
运行于java环境的一个免费开源的企业信息采集器（简单的java网络爬虫）。 信息采集完成后自动导出Excel表格。 基于Jsoup+Poi+Sqlite开发完成。
Java
Web爬虫
|
6年多前
今日热门
本周热门
鬼画符/templatespider
3.1K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
ssssssss-team/spider-flow
7.8K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
JRebelX/JavaSpiderDemo
21
Java爬虫实现，SpringBoot + HttpClient+Jsoup 爬虫Demo，满屏注释，适合入门
易水风萧/wind-bell
619
风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。
logic/QuickCompanyCollect
38
运行于java环境的一个免费开源的企业信息采集器（简单的java网络爬虫）。 信息采集完成后自动导出Excel表格。 基于Jsoup+Poi+Sqlite开发完成。
linzhaoquan/xx小说阅读网站
558
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
自风/Spiderman
3.5K
强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活
鬼画符/templatespider
3.1K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
ssssssss-team/spider-flow
7.8K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
易水风萧/wind-bell
619
风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。
javacoo/CowSwing
300
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
JRebelX/JavaSpiderDemo
21
Java爬虫实现，SpringBoot + HttpClient+Jsoup 爬虫Demo，满屏注释，适合入门
linzhaoquan/xx小说阅读网站
558
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
logic/QuickCompanyCollect
38
运行于java环境的一个免费开源的企业信息采集器（简单的java网络爬虫）。 信息采集完成后自动导出Excel表格。 基于Jsoup+Poi+Sqlite开发完成。
自风/Spiderman2
2.1K
二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）
taishan/微信文章爬虫 Reptile
143
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部
23e8dbc6 1850385 7e0993f3 1850385