2 Star 0 Fork 0

crossin/crawler

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
ex2_jandan_pic_v1.py 623 Bytes
一键复制 编辑 原始数据 按行查看 历史
Crossin Yuan 提交于 2017-04-24 18:50 . update
import requests
from lxml import etree
import urllib.request
url = 'http://jandan.net/pic'
for i in range(3):
print(url)
req = requests.get(url)
html = req.text
tree = etree.HTML(html)
result = tree.xpath('//a[@class="view_img_link"]/@href')
for link in result:
print('downloading', link)
filename = link.split('/')[-1]
urllib.request.urlretrieve('http:' + link, 'pics/' + filename)
current_page = tree.xpath('//span[@class="current-comment-page"]/text()')
next_page = int(current_page[0].strip('[]')) - 1
url = 'http://jandan.net/pic/page-%d' % next_page
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/crossin/crawler.git
git@gitee.com:crossin/crawler.git
crossin
crawler
crawler
master

搜索帮助