Crawlab 无法正常运行pyppetter

本周六 · 上海源创会，一起聊聊AI Agent 构建与应用

Issues

/ 详情

待办的

创建于

2022-12-03 11:28

创建了任务

修改了描述

原值

![输入图片说明](https://foruda.gitee.com/images/1670038006746184554/7a3bf7fa_101217.png "屏幕截图")

Crawlab版本是0.6.0-2 

麻烦作者看下 困扰了很长时间  谢谢

test.py代码是:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# @File  : test.py

# @Author: OpenHair

# @Date  : 2022/12/3

# @Desc  :

# @Contact : 674514904@qq.com

import asyncio, time

from pyppeteer import launch

import pyppeteer

print(pyppeteer.__chromium_revision__)  # 查看版本号

print(pyppeteer.executablePath())  # Chromium应该在的路径

async def main():

    # browser = await launch(headless=True, executablePath=executablePath, dumpio=True, autoClose=False,

    #                        args=['--no-sandbox', '--window-size=1920,1080', '--disable-infobars'])   # 进入有头模式

    browser = await launch(headless=True,options={'args': ['—-no-sandbox']})

    page = await browser.newPage()           # 打开新的标签页

    await page.setViewport({'width': 1920, 'height': 1080})      # 页面大小一致

    await page.goto('https://www.baidu.com') # 访问主页

    # evaluate()是执行js的方法，js逆向时如果需要在浏览器环境下执行js代码的话可以利用这个方法

    # js为设置webdriver的值，防止网站检测

    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')

    # await page.screenshot({'path': './1.jpg'})   # 截图保存路径

    page_text = await page.content()   # 获取网页源码

    print(page_text)

    time.sleep(1)

    await page.close()

asyncio.get_event_loop().run_until_complete(main()) #调用

新值

![输入图片说明](https://foruda.gitee.com/images/1670038006746184554/7a3bf7fa_101217.png "屏幕截图")

Crawlab版本是0.6.0-2 

麻烦作者看下 困扰了很长时间  谢谢

test.py代码是:

import asyncio, time

from pyppeteer import launch

import pyppeteer

print(pyppeteer.__chromium_revision__)  # 查看版本号

print(pyppeteer.executablePath())  # Chromium应该在的路径

async def main():

    browser = await launch(headless=True,options={'args': ['—-no-sandbox']})

    page = await browser.newPage()           # 打开新的标签页

    await page.setViewport({'width': 1920, 'height': 1080})      # 页面大小一致

    await page.goto('https://www.baidu.com') # 访问主页

    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')

    # await page.screenshot({'path': './1.jpg'})   # 截图保存路径

    page_text = await page.content()   # 获取网页源码

    print(page_text)

    time.sleep(1)

    await page.close()

asyncio.get_event_loop().run_until_complete(main()) #调用

修改了描述

原值

![输入图片说明](https://foruda.gitee.com/images/1670038006746184554/7a3bf7fa_101217.png "屏幕截图")

Crawlab版本是0.6.0-2 

麻烦作者看下 困扰了很长时间  谢谢

test.py代码是:

import asyncio, time

from pyppeteer import launch

import pyppeteer

print(pyppeteer.__chromium_revision__)  # 查看版本号

print(pyppeteer.executablePath())  # Chromium应该在的路径

async def main():

    browser = await launch(headless=True,options={'args': ['—-no-sandbox']})

    page = await browser.newPage()           # 打开新的标签页

    await page.setViewport({'width': 1920, 'height': 1080})      # 页面大小一致

    await page.goto('https://www.baidu.com') # 访问主页

    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')

    # await page.screenshot({'path': './1.jpg'})   # 截图保存路径

    page_text = await page.content()   # 获取网页源码

    print(page_text)

    time.sleep(1)

    await page.close()

asyncio.get_event_loop().run_until_complete(main()) #调用

新值

![输入图片说明](https://foruda.gitee.com/images/1670038006746184554/7a3bf7fa_101217.png "屏幕截图")

Crawlab版本是0.6.0-2 

麻烦作者看下 困扰了很长时间  谢谢

test.py代码是:

import asyncio, time

from pyppeteer import launch

import pyppeteer

print(pyppeteer.__chromium_revision__)  # 查看版本号

print(pyppeteer.executablePath())  # Chromium应该在的路径

async def main():

    browser = await launch(headless=True,options={'args': ['—-no-sandbox']})

    page = await browser.newPage()           # 打开新的标签页

    await page.setViewport({'width': 1920, 'height': 1080})      # 页面大小一致

    await page.goto('https://www.baidu.com') # 访问主页

    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')

    page_text = await page.content()   # 获取网页源码

    print(page_text)

    time.sleep(1)

    awaitpage.close()

asyncio.get_event_loop().run_until_complete(main()) #调用

展开全部操作日志

登录后才可以发表评论

状态

负责人

里程碑

Pull Requests

关联的 Pull Requests 被合并后可能会关闭此 issue

分支

开始日期 - 截止日期

置顶选项

优先级

参与者（1）

https://gitee.com/tikazyq/crawlab.git

git@gitee.com:tikazyq/crawlab.git

tikazyq

crawlab

tikazyq/crawlab

内容风险标识

评论 (0)

tikazyq/crawlab .gitee-modal { width: 500px !important; }

内容风险标识

Crawlab 无法正常运行pyppetter

评论 (0)

搜索帮助

tikazyq/crawlab