1 Star 0 Fork 0

quyihuang/爬虫_yande

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
shuchu.py 537 Bytes
一键复制 编辑 原始数据 按行查看 历史
quyihuang 提交于 2019-01-31 09:30 . 更新 shuchu.py
import redis
class Output():
def __init__(self):
self.datas = [] # 列表,存储对象为字典
self.r = redis.Redis(host="", port=, password="", db=, decode_responses=True)
def collect(self, new_data):
if new_data is None:
return
self.datas.append(new_data)
def add_redis(self):
for data in self.datas:
self.add_data(data)
def add_data(self, data):
pipe = self.r.pipeline(transaction=True)
int_id = self.r.incr("url_id")
hash_key = "URL" + " " + str(int_id)
pipe.hmset(hash_key, data)
pipe.execute()
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/quyihuang/crawler__yande.git
git@gitee.com:quyihuang/crawler__yande.git
quyihuang
crawler__yande
爬虫_yande
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385