高效又轻量级的信息收集工具有哪些!【转】

在我们曾经发过的“信息收集系列一”(蓝字可戳)中i春秋的老朋友野驴给大家介绍了各类网络搜索引擎,但搜索引擎也有它的局限性,其中一点就是噪音太多,高价值信息都隐藏在大量的无用信息当中,需要我们用恰当的关键词和敏感的嗅觉才可以获取。

这个时候一些专项的信息收集工具就显得尤为重要。举个例子:对一家公司进行渗透测试,由于种种原因我们需要尽可能多的获取该公司邮箱,怎么办?百度、谷歌倒是会搜索到一些结果,可是难道要手动一条一条的在搜索引擎中收集吗?有没有一些高效的方法,看完今天野驴同学的分享,相信会对大家以后的信息收集,起到事半功倍的效果哦!

文章难易度 【★★★】

文章知识点: python,邮箱收集,子域名收集;

作者:野驴

i春秋社区

很久没更文了,在i春秋社区收到很多留言,看到大家能从我的文章中学到哪怕一点网络安全知识,我还是很开心的。今天我们就来交流关于信息收集的问题,给大家介绍几款量级很轻但效率很高的工具。还等什么?往下看吧~

0x01 theHarvester

0x011 简介

项目地址:https://github.com/laramies/theHarvester

主页地址:

http://www.edge-security.com/theharvester.php

这个工具看名称就很有意思,就叫它“收割机”吧,它是利用在线资源收集包括邮箱、子域名、虚拟主机、开放端口等等这么一款工具,那么他都从哪些在线资源上获取信息呢?

有这么多信息来源,看到了吗?在最新的2.7版本中支持了百度搜索引擎,这可是个不错的消息,对于我墙内的表弟们来说这个工具的价值就比较大了。

0x012 安装与配置

Kali2.0中自带该工具,但是是2.6版本,不支持百度搜索引擎。Kali2016没有测试。其实安装也很简单。

安装依赖。

pip install requests

多数我们都已安装。

Git colone [url]https://github.com/laramies/theHarvester.git[/url]

 

cd theHarvester

 

python theHarvester.py

如果出现banner就说明安装成功了。

PS:为了更好的使用该工具,需要配置一些搜索引擎的API key,其中最重要的一个就是shodan,配置文件在这个位置,只要替换为你自己的API key就可以。(具体API key怎么获得,请参考http://bbs.ichunqiu.com/thread-13012-1-1.html)

0x013 使用

使用也很简单,帮助文档一目了然。

常用实例已给出。

theharvester -d microsoft.com -l 500 -b google -h myresults.html

 

theharvester -d microsoft.com -b pgp

 

theharvester -d microsoft -l 200 -b linkedin

 

theharvester -d apple.com -b googleCSE -l 500 -s 300

多数情况下,按照实例操作即可。

0x014 结果显示

搜集完毕后会给出终端结果,如果你设置了输出选项-f 可查看数据文件html或xml。

0x02 SimplyEmail

0x021 简介

项目地址:https://github.com/killswitch-GUI/SimplyEmail

该工具是基于theHarvester的功能进行开发,相当于重构了theHarvester,将其更加的模块化,更容易进行扩展,让用户可以添加任何属于自己的模块,并且可以检测一些修改过的email地址,比如把@替换成#之类的。

支持的模块列表:

1) Modules/HtmlScrape.py

2) Modules/PasteBinSearch.py

3) Modules/ExaleadSearch.py

4) Modules/SearchPGP.py

5) Modules/ExaleadXLSXSearch.py

6) Modules/ExaleadDOCXSearch.py

7) Modules/OnionStagram.py

8) Modules/GooglePDFSearch.py

9) Modules/RedditPostSearch.py

10)Modules/AskSearch.py

11)Modules/EmailHunter.py

12)Modules/WhoisAPISearch.py

13)Modules/Whoisolgy.py

14)Modules/GoogleDocxSearch.py

15)Modules/GitHubUserSearch.py

16)Modules/YahooSearch.py

17)Modules/GitHubCodeSearch.py

18)Modules/ExaleadPDFSearch.py

19)Modules/GoogleSearch.py

20)Modules/FlickrSearch.py

21)Modules/GoogleDocSearch.py

22)Modules/CanaryBinSearch.py

23)Modules/ExaleadDOCSearch.py

24)Modules/GoogleXLSXSearch.py

25)Modules/GitHubGistSearch.py

能够检测的email如下:

shinichiro.hamaji at gmail.com

shinichiro.hamaji AT gmail.com

simohayha.bobo at gmail.com

“jeffreytgilbert” =>”gmail.com”

felix021 # gmail.com

hirokidaichi[at]gmail.com

hirokidaichi[@]gmail.com

hirokidaichi[#]gmail.com

xaicron{ at }gmail.com

xaicron{at}gmail.com

xaicron{@}gmail.com

xaicron(@)gmail.com

xaicron + gmail.com

xaicron ++ gmail.com

xaicron ## gmail.com

bekt17[@]gmail.com

billy3321 -AT- gmail.com

billy3321[AT]gmail.com

ybenjo.repose [[[at]]] gmail.com

sudhindra.r.rao (at) gmail.com

sudhindra.r.rao nospam gmail.com

shinichiro.hamaji (.) gmail.com

shinichiro.hamaji–at–gmail.com

能够检测的email如下:

shinichiro.hamaji at gmail.com

shinichiro.hamaji AT gmail.com

simohayha.bobo at gmail.com

“jeffreytgilbert” =>”gmail.com”

felix021 # gmail.com

hirokidaichi[at]gmail.com

hirokidaichi[@]gmail.com

hirokidaichi[#]gmail.com

xaicron{ at }gmail.com

xaicron{at}gmail.com

xaicron{@}gmail.com

xaicron(@)gmail.com

xaicron + gmail.com

xaicron ++ gmail.com

xaicron ## gmail.com

bekt17[@]gmail.com

billy3321 -AT- gmail.com

billy3321[AT]gmail.com

ybenjo.repose [[[at]]] gmail.com

sudhindra.r.rao (at) gmail.com

sudhindra.r.rao nospam gmail.com

shinichiro.hamaji (.) gmail.com

shinichiro.hamaji–at–gmail.com

0x022 安装配置

Kali没有自带这款工具,但是安装也很简单。

Git clone [url]https://github.com/killswitch-GUI/SimplyEmail.git[/url]

 

cd Simplyemail

 

./Setup.sh

配置方面,只有一个国外的社工库(canar.io)API需要key,在/common/simplyemail.ini中配置,但我个人认为并没什么卵用,在国内效果可能不是太理想。

0x023 使用

Python SimplyEmail.py –all –e target.com   #最基本用法,注意大小写

因为大量的用到了国外的一些资源,包括google等,所以建议翻墙使用,有ss服务器的童鞋,本地开代理,永proxychain python。

SimplyEmail.py –all –e target.com

具体用法不想讲太多,帮助文档很详细。既然这个工具的特点是模块化,易扩展,在不涉及核心代码的前提下就可以快速添加自己的模块,那没有百度搜索模块我不开心,我要添加,就是要添加。

0x024 百度搜索模块添加

既然要添加百度搜索模块,那首先我们来看看它自带哪些搜索引擎的模块,打开modules目录,发现只有googlesearch和YahooSearch这两个认识,打开这两个模块,对比下区别。

发现也没多大区别,那我们就在YahooSearch这个模块基础上改,发现需要从配置文件simplyemail.in中读取配置,看看都有哪些配置。

哦,原来搜索引擎的配置都差不多,就那么几项。那我们加个百度配置文件就好了。

接下来再把所有Yahoo改成Baidu,大多都是提示行语句。

最后还有搜索URL,这个怎么设置呢?百度搜索语句长什么样我也不知道啊,怎么办?哦!前面的Theharvester中不是有百度搜索模块吗,看看有没有什么帮助。

原来是这个样子,那我依葫芦画瓢改成这样。

剩下貌似没什么需要修改的。保存模块为baidusearch.py放在modules目录中,我们来看下是否可以加载。

Python SimplyEmail.py –l

完全可以,实测也可以正常使用。

0x03 wydomain

0x031 简介

项目地址:https://github.com/ring04h/wydomain

猪猪侠的大名想必大家都有所耳闻,这款工具就是猪猪侠的作品,曾经风靡乌云(纪念),在这里感谢猪猪侠大神开源并不断更新着很多优秀的网络安全工具,让我等小白可以深入学习。

Wydomain是一款子域名搜集工具,分暴力破解和API获取。

0x032 安装使用

安装依赖

pip install -r requirements.txt

 

cd wydomain

字典穷举目标的子域名。

使用API查询目标的子域名。

有人可能会问,为什么不把字典猜解和API查询放在一起,猪猪侠给出了解释。

0x04 BBScan

项目地址:https://github.com/lijiejie/BBScan

这款工具是业界大神lijiejie(李姐姐?)开发维护的一款迷你的信息泄漏批量扫描脚本。可以通过文本批量导入主机或URL。效率也很高,刚刚更新了1.1.0版本,添加了一些新功能。考虑安装使用比较简单,节省篇幅,帮助文档又很详细,这里就不再赘述,给出使用截图。

0x05 结语

除了这几款工具,还有Win下的Layer子域名挖掘机、Brodomain等工具,大家自行探索。工欲善其事必先利其器,渗透测试手里没有几件顺手的兵器怎么能行,但只有懂其原理才能更好的发挥其效能,并且工具只是取代了重复的劳动,渗透成功与否还是要看有没有奇技淫巧,能不能守正出奇。

此条目发表在未分类, 资源收集分类目录。将固定链接加入收藏夹。

发表评论