代码拉取完成,页面将自动刷新
# encoding: utf-8
# Datetime : 2020/6/2 7:48 PM
# User : zzz
# File : proxy_test.py
import requests
from util import proxy_util
def delete_proxy(proxy):
requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))
# your spider code
def getHtml():
# ....
retry_count = 5
proxy = proxy_util.get_proxy()
while retry_count > 0:
try:
html = requests.get('http://www.example.com', proxies=proxy)
# 使用代理访问
return html
except Exception:
retry_count -= 1
# 出错5次, 删除代理池中代理
delete_proxy(proxy)
return None
if __name__ == '__main__':
html = getHtml()
print(html)
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。