1 Star 0 Fork 0

/xspider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
1、查询项目中的 js script
create table temp select distinct link_parent_url   from page_link1 where http_exist=1 and page_type in (1,5) and (link_parent_url  like '%.js' or link_parent_host_path="http://js.jrjimg.cn/js.do");

2、查找包含blocked js 的页面
create table page_js select  p.link_host_path as js ,any_value(p.link_parent_url) as page  from temp t left join page_link1 p  on t.link_parent_url=p.link_url group by p.link_host_path;

3、查看典型页面 
 select distinct page from page_js;
 
 
4、得到需要修改的所有js
查询页面js链接 
  select distinct  link_host_path from  page_link1 where page_type in(1) and link_host_path not like '%.shtml' order by link_host_path ;
得到合并的js
  select distinct link_url from page_link1_stock where link_host_path="http://js.jrjimg.cn/js.do";
得到由于动态js遗漏的部分页面 
复制典型页面的内容到xcheck项目的seeds.txt 并且替换链接为https协议,运行xcheck项目
 
5、得到需要修改的结果在 blocked_resources表中
   select distinct initiate_url  from blocked_resources  where initiate_url like '%.js%' order by initiate_url;
  修改得到的js文件中的被block的http js地址
  重复步骤4、 5直到没有被block的js
  
6、得到被blocked的请求 
 select distinct res_host_path from blocked_resources where initiate_url not like '%.html' order by res_host_path ;
 
 7、查询nginx中需要替换的url
 select distinct link_host_path from page_link1 where page_type in (1,2) and http_exist=1 order by link_host_path;

空文件

简介

暂无描述 展开 收起
HTML
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
HTML
1
https://gitee.com/mm12ww/xspider.git
git@gitee.com:mm12ww/xspider.git
mm12ww
xspider
xspider
master

搜索帮助

0d507c66 1850385 C8b1a773 1850385