代码拉取完成，页面将自动刷新
爬虫引擎，基于无头浏览器，支持多线程、分布式、流式处理、代理等功能。开箱即用，简单便捷，有常用操作helper。
public class Midjourney : Core.FlowBase
{
public override async Task RunAsync(FlowContext Context)
{
//无头引擎加载页面
await Engine.StartLoad(Request.Uri.ToString());
//业务代码
//.....
//上下文设置为爬取成功
Context.State = FlowContextHandelState.成功;
}
}
var requestCity = new Request("https://discord.com/channels/662267976984297473/1008571152479826060")
{
//指定流处理
FlowTpyes = new List<Type>() { typeof(Midjourney) }
};
var core = new QSpiderCore(new Config()
{
EngineIsHeadless = false,
EngineIsLoadImage = true,
RequestMaxRetryCount = 3,
}.ConfigureLaunchOptions(null, option =>
{
option.UserDataDir = "d:/userdata/";
}));
4.开始执行
//添加处理流
core.AddFlow(new Midjourney());
//添加测试请求
Midjourney.AddTestRequest(core);
core.Start();
Console.ReadLine();
此项目是为了找工作，是从我写的一个爬虫项目里剥离出来的一部分代码，有需求或者bug可以发issues我有时间会进行处理。
重构各类Helper代码 分布式示例 多线程示例 分布式控制管理后台页面 linux、mac支持（理论上已支持待测试） 多引擎（纯模拟、其他无头浏览器库） NueGet发布此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手
