2 Star 2 Fork 0

quyihuang/爬虫_自动更新网站

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
deal_urls.py 577 Bytes
一键复制 编辑 原始数据 按行查看 历史
quyihuang 提交于 2019-02-02 17:30 . 修改
#! /usr/bin/env python3
# coding=utf-8
class Urls():
def __init__(self):
self.newurls = set()
self.oldurls = set()
def add_one_url(self, root_url):
if root_url is None:
return
if root_url not in self.newurls and root_url not in self.oldurls:
self.newurls.add(root_url)
def has_one_url(self):
return len(self.newurls) != 0
def get_one_url(self):
one_url =self.newurls.pop()
self.oldurls.add(one_url)
return one_url
def add_urls(self, new_urls):
if new_urls is None or len(new_urls) ==0:
return
for url in new_urls:
self.add_one_url(url)
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/quyihuang/crawler_auto_update_website.git
git@gitee.com:quyihuang/crawler_auto_update_website.git
quyihuang
crawler_auto_update_website
爬虫_自动更新网站
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385