from spiders import hj_spider, z_spider
from feapder.utils.custom_argparse import ArgumentParser


def hj_spider_test():
    hj_spider.HjSpider(redis_key='test:spider').start()


def z_spider_test(args):
    spider = z_spider.ZSpider(
        redis_key="z_spider:test",  # redis中存放任务等信息的根key
        task_table="batch_spider_task",  # mysql中的任务表
        task_keys=["id", "page"],  # 需要获取任务表里的字段名，可添加多个
        task_state="state",  # mysql中任务状态字段
        batch_record_table="batch_z_spider_batch_record_1",  # mysql中的批次记录表
        batch_name="test1",  # 批次名字
        batch_interval=1/12,  # 批次周期 天为单位 若为小时 可写 1 / 24
    )

    if args == 1:
        spider.start_monitor_task()  # 下发及监控任务
    else:
        spider.start()  # 采集
    # spider.start_monitor_task() # 下发及监控任务
    # spider.start() # 采集


if __name__ == "__main__":

    parser = ArgumentParser(description="Spider测试")

    parser.add_argument(
        "--test_spider", action="store_true", help="测试Spider", function=hj_spider_test
    )
    parser.add_argument(
        "--z_spider_test", type=int, nargs=1, help="", function=z_spider_test
    )


    parser.start()