1 Star 1 Fork 0

不锈钢菠菜/mztu_spider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
spider_thread.py 1.44 KB
一键复制 编辑 原始数据 按行查看 历史
不锈钢菠菜 提交于 2018-05-13 21:01 . 爬虫线程类
import threading
from mztu import Mztu
class SpiderThread(threading.Thread):
"""
爬虫线程类
"""
def __init__(self, thread_id, name, url, file_root):
threading.Thread.__init__(self)
self.thread_id = thread_id
self.name = name
self.url = url
self.file_root = file_root
def run(self):
print("正在启动 %d %s 线程" % (self.thread_id, self.name))
self.mztu_spider()
print("正在结束 %d %s 线程" % (self.thread_id, self.name))
def mztu_spider(self):
meizitu = Mztu()
print("------正在寻找找图集------")
url_list = meizitu.get_picture_url_list(self.url)
print(url_list)
index = 1
for page_url in url_list:
print("------正在寻找找第" + index.__str__() + "个图集------")
print("图片地址:" + page_url)
page_info = meizitu.get_page_info(page_url)
page_size = page_info[0]
page_title = page_info[1]
print("共找到" + page_size + "张图片")
picture_url = meizitu.get_picture_url(page_url, page_size)
print("正在下载第" + index.__str__() + "个图集")
file_path = meizitu.get_file_path(self.file_root, page_size, page_title)
meizitu.save_picture(picture_url, file_path)
print("------第" + index.__str__() + "个图集下载完成------")
index = index + 1
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/bocai97/mztu_spider.git
git@gitee.com:bocai97/mztu_spider.git
bocai97
mztu_spider
mztu_spider
master

搜索帮助

D67c1975 1850385 1daf7b77 1850385