my_distributed_crawler: 落地的爬虫项目。迭代：串行化->并行化->分布式。数据库涉及：mysql,redis,elasticsearch 曾帮助公司获取过以下网站内容：无讼案例、12366纳税服务、政府采购网、天津市主体信用信息公示系统、国家企业信息信用公示系统(api)、巨潮资讯网、天津市各区政府网站等。可携带登陆cookie、文件下载解析方式：css dom(goquery)、正则、api json。

1月18日，北京，聊聊2025如何加入技术开发？

forked from lwb/my_distributed_crawler

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

免费加入

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

分支 2

标签 0

更改全局配置为json文件并且改为单例模式 870bef0

common

config

serial

.gitignore

README.md

go.mod

go.sum

README

# my_distributed_crawler

#### 介绍
一个落地的爬虫项目。
- 迭代：串行化->并行化->分布式存储模块和Worker模块。
- 数据库涉及：mysql,redis,elasticsearch
- 曾帮助公司获取过以下网站内容：
  1. 无讼案例
  2. 12366纳税服务
  3. 政府采购网
  4. 天津市主体信用信息公示系统
  5. 国家企业信息信用公示系统(api)
  6. 巨潮资讯网
  7. 天津市各区政府网站
  8. ...
  
#### 功能包含但不限于:
- 可携带登陆cookie
- 网页解析方式：css dom(goquery)、正则、api json。
- 分布式：jsonrpc、gRPC、中间件、消息队列
- http请求方式已封装好:包含get、post(json)、post(form)、文件下载
#### 安装教程
- go mod tidy
- docker (es es的中文分词ik)——看需求是否用到
#### 使用说明
若涉及rpc内容 需要先启动jsonrpc server

#### 参与贡献

落地的爬虫项目。迭代：串行化->并行化->分布式。数据库涉及：mysql,redis,elasticsearch 曾帮助公司获取过以下网站内容：无讼案例、12366纳税服务、政府采购网、天津市主体信用信息公示系统、国家企业信息信用公示系统(api)、巨潮资讯网、天津市各区政府网站等。可携带登陆cookie、文件下载解析方式：css dom(goquery)、正则、api json。

取消

暂无发行版

马建仓 AI 助手

尝试更多

代码解读

代码找茬

代码优化

https://gitee.com/leixun/my_distributed_crawler.git

git@gitee.com:leixun/my_distributed_crawler.git

leixun

my_distributed_crawler

master

leixun/my_distributed_crawler

简介

发行版

贡献者

近期动态

leixun/my_distributed_crawler .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

leixun/my_distributed_crawler