如何用Python编写信息收集之子域名收集脚本？

0×00 前言

创新互联是一家专业提供雁塔企业网站建设,专注与网站设计制作、成都网站设计、H5建站、小程序制作等业务。10年已为雁塔众多企业、政府机构等服务。创新互联专业网站制作公司优惠进行中。

任务：

使用脚本借助搜索引擎搜集网站子域名信息。

准备工具：

python安装包、pip、http请求库：requests库、正则库：re库。

子域名是相对于网站的主域名的。比如百度的主域名为：baidu.com，这是一个***域名，而在***域名前由"."隔开加上不同的字符，比如zhidao.baidu.com，那么这就是一个二级域名，同理，继续扩展主域名的主机名，如club.user.baidu.com，这就是一个三级域名，依次类推。

0X00 正文

手动收集子域名是怎样的一种过程？

举个例子，比如我们要收集qq.com这个主域名，在百度搜索引擎能够搜索到的所有子域名。

首先，使用搜索域名的语法搜索~

搜索域名语法：site:qq.com

然后，在搜索结果中存在我们要的子域名信息，我们可以右键，查看元素，复制出来。

如何用python替代手工的繁琐操作？

其实就是将手工收集用代码来实现自动化，手工收集的步骤：

收集器制作开始:

1.发起一个搜索的http请求

请求我们使用python的第三方http库，requests

需要额外安装，可以使用pip进行安装pipinstallrequests

requests基本使用-example：

help(requests)查看requests的帮助手册。

dir(requests)查看requests这个对象的所有属性和方法。

requests.get('http://www.baidu.com'

发起一个GET请求。

好了，补充基础知识，我们来发起一个请求，并获得返回包的内容。

 
 
 
 
    
  
  
  
  
  1. #-*-coding:utf-8-*- 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. import requests     #导入requests库 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. url='http://www.baidu.com/s?wd=site:qq.com' #设定url请求 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. response=requests.get(url).content  #get请求,content是获得返回包正文 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. print response 
    10.

返回包的内容实在太多，我们需要找到我们想要的子域名，然后复制出来。

从查看元素我们可以发现，子域名被一段代码包裹着，如下：

 
 
 
 
    
  
  
  
  
  1. style="text-decoration:none;">chuangshi.qq.com/ </a> 
    2.

2.正则表达式——(.*?) 闪亮登场：

正则 规则：style=”text-decoration:none;”>(.*?)/

正则表达式难吗？难。复杂吗？挺复杂的。

然而最简单的正则表达式，我们把想要的数据用(.*?)来表示即可。

re 基本使用-example：

假设我们要从一串字符串'123xxIxx123xxLikexx123xxStudyxx'取出ILike Study，我们可以这么写：

 
 
 
 
    
  
  
  
  
  1. eg='123xxIxx123xxLikexx123xxStudyxx' 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. printre.findall('xx(.*?)xx',eg) 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. #打印结果 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. ['I','Like','Study'] 
    8.

基于上述例子，依葫芦画瓢也可以获取子域名了。

 
 
 
 
    
  
  
  
  
  1. #-*-coding:utf-8-*- 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. importrequests#导入requests库 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. importre#导入re库 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. url='http://www.baidu.com/s?wd=site:qq.com'#设定url请求 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. response=requests.get(url).content#get请求,content是获得返回包正文 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. #重点，重点，下面这段代码~ 
    12. 
  
  
  
  
  12.  
    13. 
  
  
  
  
  13. subdomain=re.findall('style="text-decoration:none;">(.*?)/',response) 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15. printsubdomain  
    16.

结果：

 
 
 
 
    
  
  
  
  
  1. ['www.qq.com','chuangshi.qq.com','1314.qq.com','lol.qq.com','tgp.qq.com','open.qq.com','https:','ac.qq.com'] 
    2.

3.翻页的处理

上面获得的子域名，仅仅只是返回结果的***页内容，如何获取所有页面的结果？

 
 
 
 
    
  
  
  
  
  1. key=qq.com 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. #为url添加页码： 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=0" 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=10" 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=20" 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. #pn=0为***页，pn=10为第2页，pn=20为第3页… 
    12.

天啊，100页我要写100个url吗？当然不是，循环语句解决你的困扰。

 
 
 
 
    
  
  
  
  
  1. foriinrange(100):#假设有100页 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. i=i*10 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=%s"%i 
    6.

4.重复项太多？想去重？

基础知识：

python的数据类型：set

set持有一系列的元素，但是set的元素没有重复项，且是无序的。

创建set的方式是调用set()并传入一个list，list的元素将作为set的元素。

sites=list(set(sites))#用set实现去重

正则表达式匹配得到的是一个列表list，我们调用set()方法即可实现去重。

5.完整代码&&总结

下面是百度搜索引擎爬取子域名的完整代码。

 
 
 
 
    
  
  
  
  
  1. #-*-coding:utf-8-*- 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. importrequests 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. importre 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. key="qq.com" 
    8. 
  
  
  
  
  8.  
    9. 
  
  
  
  
  9. sites=[] 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11. match='style="text-decoration:none;">(.*?)/' 
    12. 
  
  
  
  
  12.  
    13. 
  
  
  
  
  13. foriinrange(48): 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15. i=i*10 
    16. 
  
  
  
  
  16.  
    17. 
  
  
  
  
  17. url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=%s"%i 
    18. 
  
  
  
  
  18.  
    19. 
  
  
  
  
  19. response=requests.get(url).content 
    20. 
  
  
  
  
  20.  
    21. 
  
  
  
  
  21. subdomains=re.findall(match,response) 
    22. 
  
  
  
  
  22.  
    23. 
  
  
  
  
  23. sites+=list(subdomains) 
    24. 
  
  
  
  
  24.  
    25. 
  
  
  
  
  25. site=list(set(sites))#set()实现去重 
    26. 
  
  
  
  
  26.  
    27. 
  
  
  
  
  27. printsite 
    28. 
  
  
  
  
  28.  
    29. 
  
  
  
  
  29. print"Thenumberofsitesis%d"%len(site) 
    30. 
  
  
  
  
  30.  
    31. 
  
  
  
  
  31. foriinsite: 
    32. 
  
  
  
  
  32.  
    33. 
  
  
  
  
  33. printi 
    34.

结果截图：

0X02 总结

其实子域名挖掘就是一个小小的爬虫，只不过我们是用百度的引擎来爬取，不过呢，用bing引擎爬去的数据量会比百度更多，所以建议大家使用bing的引擎，代码的编写方法和百度的大同小异就不放代码了，给个小tip，bing搜索域名用的是domain:qq.com这个的语法哦。

分享标题：如何用Python编写信息收集之子域名收集脚本？
网站链接：http://www.csdahua.cn/qtweb/news28/228978.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

网站维护知识

同城分类信息

自贡主机托管　　 　成都微信小程序开发　　 　成都品牌官网设计公司　　 　企业微信定制　　 　简阳电信机房　　 　攀枝花SEO　　 　成都封阳台　　 　UI设计　　 　营销型网站建设　　 　成都SEO优化公司　　 　雕琢时光　　 　平城网站运维　　 　恒温恒湿空调机组　　 　成都制作网站　　 　雅安移动机房　　 　网站建设公司　　 　彭州做网站　　 　四川德阳主机托管　　 　晟和广告　　 　微信开发