1 Star 1 Fork 5

巴挂/爬虫-1688商品详情数据

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
test111.py 1.84 KB
一键复制 编辑 原始数据 按行查看 历史
gebinda 提交于 2021-07-06 11:17 . feat: 项目初始化
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver import ChromeOptions
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.service import Service
import requests
from config import url,proxy,is_window,sleep_time
from time import sleep
# 获取浏览器对象
def get_browser():
option = ChromeOptions()
# 关闭自动控制
option.add_experimental_option('excludeSwitches', ['enable-automation', 'enable-logging'])
option.add_experimental_option('useAutomationExtension', False)
# 代理IP
BG_proxy = requests.get(proxy).text
option.add_argument("--proxy-server=" + BG_proxy)
# 是否显示浏览器
if not is_window:
option.add_argument('--headless')
option.add_argument('--disable-gpu')
return option
# 干掉全局变量
web = webdriver.Chrome(options=get_browser())
web.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
web.get('http://icanhazip.com')
sleep(3)
web.quit()
web1 = webdriver.Chrome(options=get_browser())
web1.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
web1.get('http://icanhazip.com')
sleep(3)
web1.quit()
web2 = webdriver.Chrome(options=get_browser())
web2.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
web2.get('http://icanhazip.com')
sleep(3)
web2.quit()
web3 = webdriver.Chrome(options=get_browser())
web3.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
web3.get('http://icanhazip.com')
sleep(3)
web3.quit()
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/baguLoveLHY/crawler-1688-product-details.git
git@gitee.com:baguLoveLHY/crawler-1688-product-details.git
baguLoveLHY
crawler-1688-product-details
爬虫-1688商品详情数据
master

搜索帮助