1 Star 0 Fork 0

quyihuang/爬虫_yande

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
Addmethod.py 919 Bytes
一键复制 编辑 原始数据 按行查看 历史
quyihuang 提交于 2019-01-31 09:28 . 源程序
from bs4 import BeautifulSoup
import re
class Jiexi():
def get_data(self, url, htm):
soup = BeautifulSoup(htm, "html.parser", from_encoding="utf-8")
new_data = self._get_new_data(url, soup)
return new_data
def _get_new_data(self, url, soup):
new_data = {}
new_data["url"] = url
links1 = soup.find("div", class_="vote-container").find_all("li", text=re.compile(r"Size"))
new_data["Size"] = links1[0].get_text()
links2 = soup.find('img', class_='image')
new_data["Img"] = links2['src']
links3 = soup.find("div", class_="vote-container").find_all("span", id=re.compile(r"post"))
new_data["Score"] = links3[0].get_text()
links4 = soup.find("div", class_ = "vote-container").find_all("a", target = re.compile(r"_blank"))
if links4 is None or len(links4) == 0:
return
new_data["Source_html"] = (links4[0])["href"]
new_data["Source_name"] = links4[0].get_text()
return new_data
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/quyihuang/crawler__yande.git
git@gitee.com:quyihuang/crawler__yande.git
quyihuang
crawler__yande
爬虫_yande
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385