HttpHelper是一个轻量级Http请求框架,致力于为Http请求提供简洁明了的接口,使开发人员更专注于业务,提高效率。 允许开发人员针对REST接口定义客户端对应的请求Interface类,只需要根据接口定义作出对应配置即可实现类似于RPC的声明式调用,可使请求接口简洁,规范,高效,更有可阅读性。请求HTML资源,可以使用WebClient不仅支持JS渲染执行Ajax请求,还提供了一套数据抽取功能,支持xpath,css,regex任意配置到数据字段的规则抽取,可将文本数据抽取为复杂的(嵌套的)格式化的对象数据。一、设计考虑代码的复用,模块的复用,更考虑了模式的复用;请求的Pipeline是针对模版定义,不是针对单一接口,这种约定可以在准备开发新的处理器时需要考虑从更高层的模版共性出发,作出更通用和公用的处理器。同时模版配置TempleConfig支持继承关系,可以先定义通用的顶级父Temple配置,使用继承和泛化思想实现个性化配置。 二、使用规范和约定将针对接口请求的问题转换成根据业务接口的Client定义,仅需Copy接口定义输入输出POJO即可完成一个接口请求的定义。
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。