scrapy爬取起点小说网站 分类，图书列表，章节列表和内容

中国天气网爬虫

小机灵鬼阅读器爬虫端，使用 scrapy 爬取小说数据，清理数据，支持爬取千夜阁、知轩藏书等网站。演示地址：https://book.gremlins-book.com。

哔哩哔哩爬虫 爬取： 热榜视频点赞数、评论数、链接 粉丝数超**万的UP主所有视频的点赞数、评论数 粉丝数超**万的UP主所有视频的粉丝数、关注数

水稻病虫害检索系统设计与实现

个人做的Scrapy案例

scrapy实验，内置一些常用中间键和管道 item管道：MySQL，Elasticsearch，MongoDB 中间键：随机User-Agent，随机IP-proxy，selenium渲染 模块：HTML标签清洗，上传自定义project模板，上传自定义spider模板，天津的url加密懒得弄js环境，写了个aes加密方法

爬取爱企查股权结构（不需要登录）

通过scrapy框架对豆瓣前250的电影信息进行爬取，包含电影名、导演、编剧、演员、电影类型、上映时间、时长、上映地、语言、别名、评分、评价数、电影语录信息。爬取的内容存储到MySQL以备后续导入neo4j使用

基于 Scrapy 框架的大众点评爬虫

利用scrapy爬取豆瓣图书信息，豆瓣当访问频率过高时会限制访问，这就需要ip代理池和用户代理去伪装请求，每个ip可以爬取40个图书数据（该项目没去弄代理ip，旨在学习），爬取成功率可达95%以上。

美女图片采集与站点呈现

大家好，我是codings，本仓库主要记录爬虫代码。

新闻爬虫

scrapy天气爬虫