代码拉取完成,页面将自动刷新
// 获取每篇文章下面所有的评论
const config = require('./config.js');
const superagent = require('superagent');
const utils = require('./utils');
/**
* 获取每篇文章下面所有的评论
* @param {String} 文章的链接地址
* @param {Number} 文章的ID
*/
async function downloadComments (url, articleId, prev = 0) {
console.log('开始获取 ', url, '评论');
let commentsArr = [];
let commentsTotal = 0;
async function run (prev) {
try {
let res = await superagent.post(config.commentUrl)
.set({
'Content-Type': 'application/json',
'Cookie': config.cookie,
'Referer': url,
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}).send({
aid: articleId,
prev: prev
});
if (res.body && res.body.error && res.body.error.code){
console.log('error msg', res.body.error.msg);
throw new Error(res.body.error.msg);
};
let resData = res.body.data
commentsTotal = resData.page.count;
let nextPage = resData.page.more;
commentsArr.push(...resData.list);
if (nextPage) {
prev = resData.list[resData.list.length -1].score;
await utils.sleep(1);
await run(prev);
};
}catch (err){
console.log(`获取 评论 ${url} err`, err.message);
};
};
await run(prev);
// console.log('commentsArr', commentsArr);
// console.log('commentsTotal', commentsTotal);
console.log('结束获取 ', url, '评论 总评论数为', commentsTotal);
return {commentsArr, commentsTotal};
};
// downloadComments('https://time.geekbang.org/column/article/82337',82337);
module.exports = downloadComments;
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。