对于crawlergo|rad|burpsuite|awvs爬虫的对比

对于crawlergo|rad|burpsuite|awvs爬虫的对比前言最近在写代码,涉及了web爬取链接的方面,在百度过程中了解到了这篇文章:superSpider,突然就好奇平时常见的爬虫 工具和扫描器里的爬虫模块

前言

最近在写代码,涉及了web爬取链接的方面,在百度过程中了解到了这篇文章:superSpider,突然就好奇平时常见的爬虫 工具和扫描器里的爬虫模块能力如何,所以来测试下。

主要测试1个自己手...

前言

最近在写代码,涉及了web爬取链接的方面,在百度过程中了解到了这篇文章:superSpider,突然就好奇平时常见的爬虫 工具和扫描器里的爬虫模块能力如何,所以来测试下。

主要测试1个自己手写的瞎眼爬虫,还有crawlergo、rad、burpsuite pro v202012、awvs 2019

文章里推荐的http://demo.aisec.cn/demo/站点打不开了所以就使用awvs的了;

测试站点:http://testphp.vulnweb.com

一 手写的基准爬虫

只抓取a标签下的href和script标签下的src;

结果:
46个链接,夹杂着很多其他域名的链接,有很多带参数的链接

二 crawlergo爬取

在官方示例代码上加了几行

结果:
48条

清洗后:

3 rad 爬取

结果:42条 , 由于存在get和post的区别,清洗后去重为39条

4 burpsuite v202012

爬取较耗费时间,截图的时候是49个,但是随着时间增加数量还在上升,在后面回看的时候数量已经一百多了

五 awvs

扫描相对burp很快,不知道是不是自家网站缘故,扫描结果数量405,但是很多都是Mod_Rewrite模块下的

六 比较

由上所有数据可以看出,awvs和burpsuite爬取的数据量是属于最多的一层的,crawlergo和rad和我手写的爬虫好像是一层。。仅数据量来说。。

再看下数据质量,这里我主要看手写的爬虫(下面称为基准),和rad 、crawlergo

首先,我们先把基准数据和rad的数据比较
先取交集,

存在17个交集数据,各自减去交集后的数据,排序,对比

细心查看的话会发现中间那栏基准数据基本path基本都能在左边交集栏查看到,而右侧rad栏黄色部分基本都是左侧即基准数据里没有的。本人查看了前面的burpsuite和awvs报告,他们多出的部分基本都是目录下的,这边基准爬虫和rad里都存在了这个目录。

再看下基准与crawlergo比较
存在18个交集

依然是右侧有的左边基本都没有,但是左右那几个details目录右侧也没有发现

看下crawlergo与rad的比较

惊人的相似-_- ,

七 简单的总结

几款工具都扫描出了手写代码里没扫除的目录、路径,其实力都是蛮强的。

其中,crawlergo和rad扫描的数量和质量类似,burpsuite和awvs的扫描结果类似,都是数量最多,但是burpsuite的扫描速度个人感觉有点慢

当然,数量多少的问题是由于burosuite和awvs存在系列安全扫描及其他用途的缘由,对于纯粹只为获取url的话还是得靠crawlergo和rad方便些。

crawlergo和rad的区别存在crawlergo返回的数据中包含了所有headers,包括其自动填充的表单数据,rad返回的只有请求方法+url,如Get http://xxx

最后自己做了一张表,仅代表自己观点,也不一定准确

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/7302.html

(0)

相关推荐

  • RUNGORE可以联机对战吗?游戏多人联机玩法

    纸牌游戏机制-检查;实时战斗检查;愚蠢的幽默-检查。如果这不是你的梦想游戏,我不知道什么是(而且我们到处都有隐藏的迷因,哈哈)。有些玩家会怀疑RUNGORE能不能在线玩。接下来我们...

    教程 2022年9月9日
  • 扎心情感语录 如果爱不曾来过,如果梦不曾碎过

    扎心情感语录 如果爱不曾来过,如果梦不曾碎过1、只是等待一次爱情,也许永远都没有人。可是,这种等待就是爱情本身。
    2、放弃其实往往就一个瞬间的事,就是在当下的某一瞬间,你突然间觉得:算了。
    3、十年前,我向你许下了承诺,

    阅读 2021年10月18日
  • 淘宝直播间优惠券和店铺优惠券冲突,淘宝直播抢优惠券窍门

    淘宝直播间弹优惠券功能是什么中控台->待播商品列表->对应商品【添加优惠券】:(1)在中控台的待播商品列表中对您要添加优惠券的商品进行【添加优惠券】操作。(2)优惠券目前仅支持“商品优惠券”和“店铺优惠券”类型,更多优惠

    电商 2021年11月29日
  • 英语多少个字母,英语26个字母正确发音读法

    英语多少个字母,英语26个字母正确发音读法 所有的语言学习不外乎就是听、说、读、写四大块。英语学习也一样,听和说是最基础、最关键的一步。想要准确发音,学会英文26个字母的自然发音(Phonics)很关键。因为有几乎

    攻略 2021年10月15日
  • 哀艳的意思(字义,诗词)

    词组哀艳的意思(字义,诗词)基本解释详细字义 哀艳拼音:āi yàn注音:ㄞ ㄧㄢˋ解释:形容文辞凄恻而绮丽:这篇文章写得哀艳动人。古代诗词清代.龚自珍.已亥杂诗 142:「少年哀艳杂雄奇,暮气颓唐不自知。」近现

    阅读 2021年11月14日
  • 地幔的意思(字义,诗词)

    词组地幔的意思(字义,诗词)基本解释详细字义 地幔拼音:dì màn注音:ㄉ一ˋ˙ㄉㄜ ㄇㄢˋ解释:地球内部地壳和地核之间的构造层。故旧称“中间层”。厚度约为2900千米,其质量约占地球的672%。一般将其分

    阅读 2021年11月15日