1 Star 0 Fork 1

stoneqp/biliob-spider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
start_spider_task.sh 432 Bytes
一键复制 编辑 原始数据 按行查看 历史
见齐 提交于 2019-07-06 11:31 . merge config
#!/bin/bash
spiders=(authorRedis videoRedis bangumiAndDonghua authorAutoAdd videoAutoAdd site online tagAdder)
for var in ${spiders[@]}
do
ps -ef | grep $var | grep -v grep | cut -c 9-15 | xargs kill -9
nohup scrapy crawl $var 1>log.log 2>&1 &
done
ps -ef | grep DanmakuAggregate | grep -v grep | cut -c 9-15 | xargs kill -9
cd danmaku_spider/ && nohup scrapy crawl DanmakuAggregate 1>log.log 2>&1 &
ps -ef |grep py
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/stoneqp/biliob-spider.git
git@gitee.com:stoneqp/biliob-spider.git
stoneqp
biliob-spider
biliob-spider
master

搜索帮助

23e8dbc6 1850385 7e0993f3 1850385