高效又轻量级的信息收集工具有哪些！【转】

发表于2016年12月15日由rande
在我们曾经发过的“信息收集系列一”（蓝字可戳）中i春秋的老朋友野驴给大家介绍了各类网络搜索引擎，但搜索引擎也有它的局限性，其中一点就是噪音太多，高价值信息都隐藏在大量的无用信息当中，需要我们用恰当的关键词和敏感的嗅觉才可以获取。

这个时候一些专项的信息收集工具就显得尤为重要。举个例子：对一家公司进行渗透测试，由于种种原因我们需要尽可能多的获取该公司邮箱，怎么办？百度、谷歌倒是会搜索到一些结果，可是难道要手动一条一条的在搜索引擎中收集吗？有没有一些高效的方法，看完今天野驴同学的分享，相信会对大家以后的信息收集，起到事半功倍的效果哦！

文章难易度 【★★★】

文章知识点: python,邮箱收集，子域名收集;

作者：野驴

i春秋社区

很久没更文了，在i春秋社区收到很多留言，看到大家能从我的文章中学到哪怕一点网络安全知识，我还是很开心的。今天我们就来交流关于信息收集的问题，给大家介绍几款量级很轻但效率很高的工具。还等什么？往下看吧~

0x01 theHarvester

0x011 简介

项目地址：https://github.com/laramies/theHarvester

主页地址：

http://www.edge-security.com/theharvester.php

这个工具看名称就很有意思，就叫它“收割机”吧，它是利用在线资源收集包括邮箱、子域名、虚拟主机、开放端口等等这么一款工具，那么他都从哪些在线资源上获取信息呢？

有这么多信息来源，看到了吗？在最新的2.7版本中支持了百度搜索引擎，这可是个不错的消息，对于我墙内的表弟们来说这个工具的价值就比较大了。

0x012 安装与配置

Kali2.0中自带该工具，但是是2.6版本，不支持百度搜索引擎。Kali2016没有测试。其实安装也很简单。

安装依赖。

pip install requests

多数我们都已安装。

Git colone [url]https://github.com/laramies/theHarvester.git[/url]

 

cd theHarvester

 

python theHarvester.py

如果出现banner就说明安装成功了。

PS:为了更好的使用该工具，需要配置一些搜索引擎的API key，其中最重要的一个就是shodan，配置文件在这个位置，只要替换为你自己的API key就可以。（具体API key怎么获得，请参考http://bbs.ichunqiu.com/thread-13012-1-1.html）

0x013 使用

使用也很简单，帮助文档一目了然。

常用实例已给出。

theharvester -d microsoft.com -l 500 -b google -h myresults.html

 

theharvester -d microsoft.com -b pgp

 

theharvester -d microsoft -l 200 -b linkedin

 

theharvester -d apple.com -b googleCSE -l 500 -s 300

多数情况下，按照实例操作即可。

0x014 结果显示

搜集完毕后会给出终端结果，如果你设置了输出选项-f 可查看数据文件html或xml。

0x02 SimplyEmail

0x021 简介

项目地址：https://github.com/killswitch-GUI/SimplyEmail

该工具是基于theHarvester的功能进行开发，相当于重构了theHarvester，将其更加的模块化，更容易进行扩展，让用户可以添加任何属于自己的模块，并且可以检测一些修改过的email地址，比如把@替换成＃之类的。

支持的模块列表：

1) Modules/HtmlScrape.py

2) Modules/PasteBinSearch.py

3) Modules/ExaleadSearch.py

4) Modules/SearchPGP.py

5) Modules/ExaleadXLSXSearch.py

6) Modules/ExaleadDOCXSearch.py

7) Modules/OnionStagram.py

8) Modules/GooglePDFSearch.py

9) Modules/RedditPostSearch.py

10)Modules/AskSearch.py

11)Modules/EmailHunter.py

12)Modules/WhoisAPISearch.py

13)Modules/Whoisolgy.py

14)Modules/GoogleDocxSearch.py

15)Modules/GitHubUserSearch.py

16)Modules/YahooSearch.py

17)Modules/GitHubCodeSearch.py

18)Modules/ExaleadPDFSearch.py

19)Modules/GoogleSearch.py

20)Modules/FlickrSearch.py

21)Modules/GoogleDocSearch.py

22)Modules/CanaryBinSearch.py

23)Modules/ExaleadDOCSearch.py

24)Modules/GoogleXLSXSearch.py

25)Modules/GitHubGistSearch.py

能够检测的email如下：

shinichiro.hamaji at gmail.com

shinichiro.hamaji AT gmail.com

simohayha.bobo at gmail.com

“jeffreytgilbert” =>”gmail.com”

felix021 # gmail.com

hirokidaichi[at]gmail.com

hirokidaichi[@]gmail.com

hirokidaichi[#]gmail.com

xaicron{ at }gmail.com

xaicron{at}gmail.com

xaicron{@}gmail.com

xaicron(@)gmail.com

xaicron + gmail.com

xaicron ++ gmail.com

xaicron ## gmail.com

bekt17[@]gmail.com

billy3321 -AT- gmail.com

billy3321[AT]gmail.com

ybenjo.repose [[[at]]] gmail.com

sudhindra.r.rao (at) gmail.com

sudhindra.r.rao nospam gmail.com

shinichiro.hamaji (.) gmail.com

shinichiro.hamaji–at–gmail.com

能够检测的email如下：

shinichiro.hamaji at gmail.com

shinichiro.hamaji AT gmail.com

simohayha.bobo at gmail.com

“jeffreytgilbert” =>”gmail.com”

felix021 # gmail.com

hirokidaichi[at]gmail.com

hirokidaichi[@]gmail.com

hirokidaichi[#]gmail.com

xaicron{ at }gmail.com

xaicron{at}gmail.com

xaicron{@}gmail.com

xaicron(@)gmail.com

xaicron + gmail.com

xaicron ++ gmail.com

xaicron ## gmail.com

bekt17[@]gmail.com

billy3321 -AT- gmail.com

billy3321[AT]gmail.com

ybenjo.repose [[[at]]] gmail.com

sudhindra.r.rao (at) gmail.com

sudhindra.r.rao nospam gmail.com

shinichiro.hamaji (.) gmail.com

shinichiro.hamaji–at–gmail.com

0x022 安装配置

Kali没有自带这款工具，但是安装也很简单。

Git clone [url]https://github.com/killswitch-GUI/SimplyEmail.git[/url]

 

cd Simplyemail

 

./Setup.sh

配置方面，只有一个国外的社工库（canar.io）API需要key，在/common/simplyemail.ini中配置，但我个人认为并没什么卵用，在国内效果可能不是太理想。

0x023 使用

Python SimplyEmail.py –all –e target.com   #最基本用法，注意大小写

因为大量的用到了国外的一些资源，包括google等，所以建议翻墙使用，有ss服务器的童鞋，本地开代理，永proxychain python。

SimplyEmail.py –all –e target.com

具体用法不想讲太多，帮助文档很详细。既然这个工具的特点是模块化，易扩展，在不涉及核心代码的前提下就可以快速添加自己的模块，那没有百度搜索模块我不开心，我要添加，就是要添加。

0x024 百度搜索模块添加

既然要添加百度搜索模块，那首先我们来看看它自带哪些搜索引擎的模块，打开modules目录，发现只有googlesearch和YahooSearch这两个认识，打开这两个模块，对比下区别。

发现也没多大区别，那我们就在YahooSearch这个模块基础上改，发现需要从配置文件simplyemail.in中读取配置，看看都有哪些配置。

哦，原来搜索引擎的配置都差不多，就那么几项。那我们加个百度配置文件就好了。

接下来再把所有Yahoo改成Baidu，大多都是提示行语句。

最后还有搜索URL，这个怎么设置呢？百度搜索语句长什么样我也不知道啊，怎么办？哦！前面的Theharvester中不是有百度搜索模块吗，看看有没有什么帮助。

原来是这个样子，那我依葫芦画瓢改成这样。

剩下貌似没什么需要修改的。保存模块为baidusearch.py放在modules目录中，我们来看下是否可以加载。

Python SimplyEmail.py –l

完全可以，实测也可以正常使用。

0x03 wydomain

0x031 简介

项目地址：https://github.com/ring04h/wydomain

猪猪侠的大名想必大家都有所耳闻，这款工具就是猪猪侠的作品，曾经风靡乌云（纪念），在这里感谢猪猪侠大神开源并不断更新着很多优秀的网络安全工具，让我等小白可以深入学习。

Wydomain是一款子域名搜集工具，分暴力破解和API获取。

0x032 安装使用

安装依赖

pip install -r requirements.txt

 

cd wydomain

字典穷举目标的子域名。

使用API查询目标的子域名。

有人可能会问，为什么不把字典猜解和API查询放在一起，猪猪侠给出了解释。

0x04 BBScan

项目地址：https://github.com/lijiejie/BBScan

这款工具是业界大神lijiejie（李姐姐？）开发维护的一款迷你的信息泄漏批量扫描脚本。可以通过文本批量导入主机或URL。效率也很高，刚刚更新了1.1.0版本，添加了一些新功能。考虑安装使用比较简单，节省篇幅，帮助文档又很详细，这里就不再赘述，给出使用截图。

0x05 结语

除了这几款工具，还有Win下的Layer子域名挖掘机、Brodomain等工具，大家自行探索。工欲善其事必先利其器，渗透测试手里没有几件顺手的兵器怎么能行，但只有懂其原理才能更好的发挥其效能，并且工具只是取代了重复的劳动，渗透成功与否还是要看有没有奇技淫巧，能不能守正出奇。

此条目发表在未分类, 资源收集分类目录。将固定链接加入收藏夹。