A powerful shell for process management. | goktrl是一个用于本地进程管理的交互式shell。用于管理正在运行的go程序内部的状态。
A non-blocking net library build from epoll and kqueue. | 一个基于epoll和kqueue的异步网络库。
sciencenet项目的补充,主要是因为以学科分级接口去爬取博主信息时,所得博主人数并不完整。主要问题在于,博主提供的研究领域信息不完整或者不正确,所以科学网无法进行归档整理。 所以这个补充程序,从博主姓名字母排序列表接口接入,从而对之前程序进行补充,主要针对博主信息(工作单位、职称、研究领域、博文数量、活跃度、博客访问量)的杂乱进行了处理和入库,除被封博的博主外,允许部分信息缺失,并对缺失值设置默认值。
抓取科学网博主信息爬虫,提取信息包括一级学科、二级学科、三级学科、博主姓名、博客uid、博主所在单位、博主头衔、博客访问量、博文总数、博客活跃度等。 使用scrapy框架开发,mongodb做存储。