登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python C Shell C++ TypeScript PHP C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Rust Matlab 其他 PowerShell HTML/CSS Scala 微信 Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk VHDL Delphi M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Pawn Puppet Ada D Standard ML Logos XML Arduino Prolog VimL 汇编 Coq Haxe ColdFusion Vala Scilab Crystal Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
2334 liuyueyi 1578914111

一灰灰Blog/quick-crawler

0
java crawler framework
Java
Web爬虫
|
7年多前
679869 vuji 1578930660

vuji/python3-webcrawler

0
python3 网络爬虫
Python
Web爬虫
|
7年前
514337 xank 1578926232

xank/disney-etl

0
迪士尼数据清洗服务，用于从迪士尼实时排队信息统计乐园整体情况
NodeJS
Web爬虫
|
接近7年前

_Ngone/wcrawler

0
知乎爬虫（crawler/spider），结合elastic-job-lite和多线程
Java
Web爬虫
|
7年前
1321049 liarmaiq 1578948874

LiarMaiq/SpiderCxx

0
A simple Net Spider with C++, using "Google Gumbo" for HTML parser and "LibCurl" for network.
Web爬虫
|
5年多前
2215123 c li 1578968870

Ah_伟/TuchongPy

0
图虫爬虫
Python
Web爬虫
|
6年前
今日热门
本周热门
liinux/DataGether
7
数据采集程序,支持常见新闻网站数据，Twitter等社交网站数据采集，社交好友关系数据Neo4j图数据库展示等基础功能;
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
千异社区/J-crawler
32
🔥 官方推荐 🔥 java爬虫工具，4.0重构版本，让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单；内置持久化接口，轻松定义爬取记录。
fffonion/JJGet
35
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
kanasimi/work_crawler
80
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
Vanishi/DS
320
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
tikazyq/crawlab
792
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
zorlan/蓝天采集器
855
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
鬼画符/templatespider
3.3K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
千异社区/J-crawler
32
🔥 官方推荐 🔥 java爬虫工具，4.0重构版本，让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单；内置持久化接口，轻松定义爬取记录。
kanasimi/work_crawler
80
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
tikazyq/crawlab
792
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
zorlan/蓝天采集器
855
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
fffonion/JJGet
35
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
yan/gspider
43
一个基于 Java/Groovy 的 Spider，让抓取更简单。
meetqy/sitemap-nodejs
58
输入网站地址，自动爬取网站当中所有的链接，并生成sitemap。
Vanishi/DS
320
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部