1 Star 1 Fork 0

dengqihua/python_beautifulsoup

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
demo_3_02.py 571 Bytes
一键复制 编辑 原始数据 按行查看 历史
邓启华 提交于 2017-06-29 18:04 . 3.3 通过互联网采集
from urllib.request import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
html = urlopen("http://en.wikipedia.org" + articleUrl)
bsObj = BeautifulSoup(html, "html.parser")
return bsObj.find("div", {"id": "bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))
links = getLinks("/wiki/Kevin_Bacon")
while len(links) > 0:
newArticle = links[random.randint(0, len(links) - 1)].attrs["href"]
print(newArticle)
links = getLinks(newArticle)
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/cppwork/python_beautifulsoup.git
git@gitee.com:cppwork/python_beautifulsoup.git
cppwork
python_beautifulsoup
python_beautifulsoup
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385