登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
MulanPSL-1.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab Rust 其他 PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk Delphi VHDL M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Puppet Pawn Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Coq Haxe Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
1981977 taisan 1591943162

taishan/微信文章爬虫 Reptile

149
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
微信公众号爬虫
Java
Web爬虫
|
10个月前
105007 yurunsoft 1578917691

宇润/nCov-Crawler

59
基于 Swoole + imi 框架的新型冠状病毒肺炎疫情实时动态爬虫抓取项目，可查看各省市趋势图：https://test.yurunsoft.com/ncov/
PHP
Web爬虫 新冠病毒相关开源
|
接近5年前

梓泉没秃头/租房爬虫

48
用于租房的爬虫
Python
Web爬虫
|
4年多前
6520152 lidunwei 1598347973

lidunwei/Medical-resources

36
收集及爬取开源的医学知识
Python
生物/医疗/健康 Web爬虫
|
4年前
今日热门
本周热门
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ketle/jiumozhi
41
phpcrawler,php爬虫,php采集器,多进程,多线程
达达软件/AndroidCrawler
54
Android上的一款采集框架, 采用Retrofit + OkHttp + Rxjava + Eventbus + Greendao + Jsoup + Meterial Design, 参考webmagic爬虫框架并用rxjava制作了自定义的采集框架。
luosl/webmagicx
186
webmagicx一款基于webmagic的可配置化的爬虫框架
tikazyq/crawlab
790
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Vanishi/DS
316
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
zorlan/蓝天采集器
843
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
Vanishi/DS
316
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
博众科技/feaplat
13
爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、platwright等各种框架及脚本
达达软件/AndroidCrawler
54
Android上的一款采集框架, 采用Retrofit + OkHttp + Rxjava + Eventbus + Greendao + Jsoup + Meterial Design, 参考webmagic爬虫框架并用rxjava制作了自定义的采集框架。
andeyalee/surfer
71
surfer [high level concurrency downloader] 是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核，支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。
kanasimi/work_crawler
74
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
朱平齐/RuiJi.Net
134
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
luosl/webmagicx
186
webmagicx一款基于webmagic的可配置化的爬虫框架
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部