2019网络爬虫和相关工具

网络爬虫

网络爬虫(web crawler)，以前经常称之为网络蜘蛛(spider)，是按照一定的规则自动浏览万维网并获取信息的机器人程序(或脚本)，曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为网络爬虫或者网络蜘蛛。

爬虫的应用领域

在理想的状态下，所有ICP(Internet Content Provider)都应该为自己的网站提供API接口来共享它们允许其他程序获取的数据，在这种情况下爬虫就不是必需品，国内比较有名的电商平台(如淘宝、京东等)、社交平台(如腾讯微博等)等网站都提供了自己的Open API，但是这类Open API通常会对可以抓取的数据以及抓取数据的频率进行限制。对于大多数的公司而言，及时的获取行业相关数据是企业生存的重要环节之一，然而大部分企业在行业数据方面的匮乏是其与生俱来的短板，合理的利用爬虫来获取数据并从中提取出有商业价值的信息是至关重要的。当然爬虫还有很多重要的应用领域，下面列举了其中的一部分：

  1. 搜索引擎
  2. 新闻聚合
  3. 社交应用
  4. 舆情监控
  5. 行业数据

合法性和背景调研

爬虫合法性探讨

网络爬虫领域目前还属于拓荒阶段，虽然互联网世界已经通过自己的游戏规则建立起一定的道德规范(Robots协议，全称是“网络爬虫排除标准”)，但法律部分还在建立和完善中，也就是说，现在这个领域暂时还是灰色地带。

“法不禁止即为许可”，如果爬虫就像浏览器一样获取的是前端显示的数据(网页上的公开信息)而不是网站后台的私密敏感信息，就不太担心法律法规的约束，因为目前大数据产业链的发展速度远远超过了法律的完善程度。

在爬取网站的时候，需要限制自己的爬虫遵守Robots协议，同时控制网络爬虫程序的抓取数据的速度;在使用数据的时候，必须要尊重网站的知识产权(从Web 2.0时代开始，虽然Web上的数据很多都是由用户提供的，但是网站平台是投入了运营成本的，当用户在注册和发布内容时，平台通常就已经获得了对数据的所有权、使用权和分发权)。如果违反了这些规定，在打官司的时候败诉几率相当高。

Robots.txt文件

大多数网站都会定义robots.txt文件，下面以淘宝的robots.txt文件为例，看看该网站对爬虫有哪些限制。

 
 
 
 
    
  
  
  
  
  1. User-agent:  Baiduspider
    2. 
  
  
  
  
  2. Allow:  /article
    3. 
  
  
  
  
  3. Allow:  /oshtml
    4. 
  
  
  
  
  4. Disallow:  /product/
    5. 
  
  
  
  
  5. Disallow:  /
    6. 
  
  
  
  
  6. 
  
  
  
  
  7. User-Agent:  Googlebot
    8. 
  
  
  
  
  8. Allow:  /article
    9. 
  
  
  
  
  9. Allow:  /oshtml
    10. 
  
  
  
  
  10. Allow:  /product
    11. 
  
  
  
  
  11. Allow:  /spu
    12. 
  
  
  
  
  12. Allow:  /dianpu
    13. 
  
  
  
  
  13. Allow:  /oversea
    14. 
  
  
  
  
  14. Allow:  /list
    15. 
  
  
  
  
  15. Disallow:  /
    16. 
  
  
  
  
  16. 
  
  
  
  
  17. User-agent:  Bingbot
    18. 
  
  
  
  
  18. Allow:  /article
    19. 
  
  
  
  
  19. Allow:  /oshtml
    20. 
  
  
  
  
  20. Allow:  /product
    21. 
  
  
  
  
  21. Allow:  /spu
    22. 
  
  
  
  
  22. Allow:  /dianpu
    23. 
  
  
  
  
  23. Allow:  /oversea
    24. 
  
  
  
  
  24. Allow:  /list
    25. 
  
  
  
  
  25. Disallow:  /
    26. 
  
  
  
  
  26. 
  
  
  
  
  27. User-Agent:  360Spider
    28. 
  
  
  
  
  28. Allow:  /article
    29. 
  
  
  
  
  29. Allow:  /oshtml
    30. 
  
  
  
  
  30. Disallow:  /
    31. 
  
  
  
  
  31. 
  
  
  
  
  32. User-Agent:  Yisouspider
    33. 
  
  
  
  
  33. Allow:  /article
    34. 
  
  
  
  
  34. Allow:  /oshtml
    35. 
  
  
  
  
  35. Disallow:  /
    36. 
  
  
  
  
  36. 
  
  
  
  
  37. User-Agent:  Sogouspider
    38. 
  
  
  
  
  38. Allow:  /article
    39. 
  
  
  
  
  39. Allow:  /oshtml
    40. 
  
  
  
  
  40. Allow:  /product
    41. 
  
  
  
  
  41. Disallow:  /
    42. 
  
  
  
  
  42. 
  
  
  
  
  43. User-Agent:  Yahoo!  Slurp
    44. 
  
  
  
  
  44. Allow:  /product
    45. 
  
  
  
  
  45. Allow:  /spu
    46. 
  
  
  
  
  46. Allow:  /dianpu
    47. 
  
  
  
  
  47. Allow:  /oversea
    48. 
  
  
  
  
  48. Allow:  /list
    49. 
  
  
  
  
  49. Disallow:  /
    50. 
  
  
  
  
  50. 
  
  
  
  
  51. User-Agent:  *
    52. 
  
  
  
  
  52. Disallow:  /
    53.

注意上面robots.txt第一段的最后一行，通过设置“Disallow: /”禁止百度爬虫访问除了“Allow”规定页面外的其他所有页面。因此当你在百度搜索“淘宝”的时候，搜索结果下方会出现：“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取)，系统无法提供该页面的内容描述”。百度作为一个搜索引擎，至少在表面上遵守了淘宝网的robots.txt协议，所以用户不能从百度上搜索到淘宝内部的产品信息。

相关工具介绍

HTTP协议

在开始讲解爬虫之前，我们稍微对HTTP(超文本传输协议)做一些回顾，因为我们在网页上看到的内容通常是浏览器执行HTML语言得到的结果，而HTTP就是传输HTML数据的协议。HTTP和其他很多应用级协议一样是构建在TCP(传输控制协议)之上的，它利用了TCP提供的可靠的传输服务实现了Web应用中的数据交换。按照维基百科上的介绍，设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法，也就是说这个协议是浏览器和Web服务器之间传输的数据的载体。关于这个协议的详细信息以及目前的发展状况，大家可以阅读阮一峰老师的《HTTP 协议入门》、《互联网协议入门》系列以及《图解HTTPS协议》进行了解，下图是我在四川省网络通信技术重点实验室工作期间用开源协议分析工具Ethereal(抓包工具WireShark的前身)截取的访问百度首页时的HTTP请求和响应的报文(协议数据)，由于Ethereal截取的是经过网络适配器的数据，因此可以清晰的看到从物理链路层到应用层的协议数据。

HTTP请求(请求行+请求头+空行+[消息体])：

HTTP响应(响应行+响应头+空行+消息体)：

说明：但愿这两张如同泛黄的照片般的截图帮助你大概的了解到HTTP是一个怎样的协议。

相关工具

1.Chrome Developer Tools：谷歌浏览器内置的开发者工具。

2.POSTMAN：功能强大的网页调试与RESTful请求工具。

3.

4.HTTPie：命令行HTTP客户端。

 
 
 
 
    
  
  
  
  
  1. $ http --header http://www.scu.edu.cn
    2. 
  
  
  
  
  2. HTTP/1.1 200 OK
    3. 
  
  
  
  
  3. Accept-Ranges: bytes
    4. 
  
  
  
  
  4. Cache-Control: private, max-age=600
    5. 
  
  
  
  
  5. Connection: Keep-Alive
    6. 
  
  
  
  
  6. Content-Encoding: gzip
    7. 
  
  
  
  
  7. Content-Language: zh-CN
    8. 
  
  
  
  
  8. Content-Length: 14403
    9. 
  
  
  
  
  9. Content-Type: text/html
    10. 
  
  
  
  
  10. Date: Sun, 27 May 2018 15:38:25 GMT
    11. 
  
  
  
  
  11. ETag: "e6ec-56d3032d70a32-gzip"
    12. 
  
  
  
  
  12. Expires: Sun, 27 May 2018 15:48:25 GMT
    13. 
  
  
  
  
  13. Keep-Alive: timeout=5, max=100
    14. 
  
  
  
  
  14. Last-Modified: Sun, 27 May 2018 13:44:22 GMT
    15. 
  
  
  
  
  15. Server: VWebServer
    16. 
  
  
  
  
  16. Vary: User-Agent,Accept-Encoding
    17. 
  
  
  
  
  17. X-Frame-Options: SAMEORIGIN
    18.

5.BuiltWith：识别网站所用技术的工具。

 
 
 
 
    
  
  
  
  
  1. >>> import builtwith
    2. 
  
  
  
  
  2. >>> builtwith.parse('http://www.bootcss.com/')
    3. 
  
  
  
  
  3. {'web-servers': ['Nginx'], 'font-scripts': ['Font Awesome'], 'javascript-frameworks': ['Lo-dash', 'Underscore.js', 'Vue.js', 'Zepto', 'jQuery'], 'web-frameworks': ['Twitter Bootstrap']}
    4. 
  
  
  
  
  4. >>>
    5. 
  
  
  
  
  5. >>> import ssl
    6. 
  
  
  
  
  6. >>> ssl._create_default_https_context = ssl._create_unverified_context
    7. 
  
  
  
  
  7. >>> builtwith.parse('https://www.jianshu.com/')
    8. 
  
  
  
  
  8. {'web-servers': ['Tengine'], 'web-frameworks': ['Twitter Bootstrap', 'Ruby on Rails'], 'programming-languages': ['Ruby']}
    9.

6.python-whois：查询网站所有者的工具。

 
 
 
 
    
  
  
  
  
  1. >>> import whois
    2. 
  
  
  
  
  2. >>> whois.whois('baidu.com')
    3. 
  
  
  
  
  3. {'domain_name': ['BAIDU.COM', 'baidu.com'], 'registrar': 'MarkMonitor, Inc.', 'whois_server': 'whois.markmonitor.com', 'referral_url': None, 'updated_date': [datetime.datetime(2017, 7, 28, 2, 36, 28), datetime.datetime(2017, 7, 27, 19, 36, 28)], 'creation_date': [datetime.datetime(1999, 10, 11, 11, 5, 17), datetime.datetime(1999, 10, 11, 4, 5, 17)], 'expiration_date': [datetime.datetime(2026, 10, 11, 11, 5, 17), datetime.datetime(2026, 10, 11, 0, 0)], 'name_servers': ['DNS.BAIDU.COM', 'NS2.BAIDU.COM', 'NS3.BAIDU.COM', 'NS4.BAIDU.COM', 'NS7.BAIDU.COM', 'dns.baidu.com', 'ns4.baidu.com', 'ns3.baidu.com', 'ns7.baidu.com', 'ns2.baidu.com'], 'status': ['clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited', 'clientTransferProhibited https://icann.org/epp#clientTransferProhibited', 'clientUpdateProhibited https://icann.org/epp#clientUpdateProhibited', 'serverDeleteProhibited https://icann.org/epp#serverDeleteProhibited', 'serverTransferProhibited https://icann.org/epp#serverTransferProhibited', 'serverUpdateProhibited https://icann.org/epp#serverUpdateProhibited', 'clientUpdateProhibited (https://www.icann.org/epp#clientUpdateProhibited)', 'clientTransferProhibited (https://www.icann.org/epp#clientTransferProhibited)', 'clientDeleteProhibited (https://www.icann.org/epp#clientDeleteProhibited)', 'serverUpdateProhibited (https://www.icann.org/epp#serverUpdateProhibited)', 'serverTransferProhibited (https://www.icann.org/epp#serverTransferProhibited)', 'serverDeleteProhibited (https://www.icann.org/epp#serverDeleteProhibited)'], 'emails': ['abusecomplaints@markmonitor.com', 'whoisrelay@markmonitor.com'], 'dnssec': 'unsigned', 'name': None, 'org': 'Beijing Baidu Netcom Science Technology Co., Ltd.', 'address': None, 'city': None, 'state': 'Beijing', 'zipcode': None, 'country': 'CN'}
    4.

7.robotparser：解析robots.txt的工具。

 
 
 
 
    
  
  
  
  
  1. >>> from urllib import robotparser
    2. 
  
  
  
  
  2. >>> parser = robotparser.RobotFileParser()
    3. 
  
  
  
  
  3. >>> parser.set_url('https://www.taobao.com/robots.txt')
    4. 
  
  
  
  
  4. >>> parser.read()
    5. 
  
  
  
  
  5. >>> parser.can_fetch('Hellokitty', 'http://www.taobao.com/article')
    6. 
  
  
  
  
  6. False
    7. 
  
  
  
  
  7. >>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/article')
    8. 
  
  
  
  
  8. True
    9. 
  
  
  
  
  9. >>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/product')
    10. 
  
  
  
  
  10. False
    11.

一个简单的爬虫

一个基本的爬虫通常分为数据采集(网页下载)、数据处理(网页解析)和数据存储(将有用的信息持久化)三个部分的内容，当然更为高级的爬虫在数据采集和处理时会使用并发编程或分布式技术，这就需要有调度器(安排线程或进程执行对应的任务)、后台管理程序(监控爬虫的工作状态以及检查数据抓取的结果)等的参与。

一般来说，爬虫的工作流程包括以下几个步骤：

  1. 设定抓取目标(种子页面/起始页面)并获取网页。
  2. 当服务器无法访问时，按照指定的重试次数尝试重新下载页面。
  3. 在需要的时候设置用户代理或隐藏真实IP，否则可能无法访问页面。
  4. 对获取的页面进行必要的解码操作然后抓取出需要的信息。
  5. 在获取的页面中通过某种方式(如正则表达式)抽取出页面中的链接信息。
  6. 对链接进行进一步的处理(获取页面并重复上面的动作)。
  7. 将有用的信息进行持久化以备后续的处理。

下面的例子给出了一个从“搜狐体育”上获取NBA新闻标题和链接的爬虫。

 
 
 
 
    
  
  
  
  
  1. from urllib.error import URLError
    2. 
  
  
  
  
  2. from urllib.request import urlopen
    3. 
  
  
  
  
  3. 
  
  
  
  
  4. import re
    5. 
  
  
  
  
  5. import pymysql
    6. 
  
  
  
  
  6. import ssl
    7. 
  
  
  
  
  7. 
  
  
  
  
  8. from pymysql import Error
    9. 
  
  
  
  
  9. 
  
  
  
  
  10. 
  
  
  
  
  11. # 通过指定的字符集对页面进行解码(不是每个网站都将字符集设置为utf-8)
    12. 
  
  
  
  
  12. def decode_page(page_bytes, charsets=('utf-8',)):
    13. 
  
  
  
  
  13.     page_html = None
    14. 
  
  
  
  
  14.     for charset in charsets:
    15. 
  
  
  
  
  15.         try:
    16. 
  
  
  
  
  16.             page_html = page_bytes.decode(charset)
    17. 
  
  
  
  
  17.             break
    18. 
  
  
  
  
  18.         except UnicodeDecodeError:
    19. 
  
  
  
  
  19.             pass
    20. 
  
  
  
  
  20.             # logging.error('Decode:', error)
    21. 
  
  
  
  
  21.     return page_html
    22. 
  
  
  
  
  22. 
  
  
  
  
  23. 
  
  
  
  
  24. # 获取页面的HTML代码(通过递归实现指定次数的重试操作)
    25. 
  
  
  
  
  25. def get_page_html(seed_url, *, retry_times=3, charsets=('utf-8',)):
    26. 
  
  
  
  
  26.     page_html = None
    27. 
  
  
  
  
  27.     try:
    28. 
  
  
  
  
  28.         page_html = decode_page(urlopen(seed_url).read(), charsets)
    29. 
  
  
  
  
  29.     except URLError:
    30. 
  
  
  
  
  30.         # logging.error('URL:', error)
    31. 
  
  
  
  
  31.         if retry_times > 0:
    32. 
  
  
  
  
  32.             return get_page_html(seed_url, retry_times=retry_times - 1,
    33. 
  
  
  
  
  33.                                  charsets=charsets)
    34. 
  
  
  
  
  34.     return page_html
    35. 
  
  
  
  
  35. 
  
  
  
  
  36. 
  
  
  
  
  37. # 从页面中提取需要的部分(通常是链接也可以通过正则表达式进行指定)
    38. 
  
  
  
  
  38. def get_matched_parts(page_html, pattern_str, pattern_ignore_case=re.I):
    39. 
  
  
  
  
  39.     pattern_regex = re.compile(pattern_str, pattern_ignore_case)
    40. 
  
  
  
  
  40.     return pattern_regex.findall(page_html) if page_html else []
    41. 
  
  
  
  
  41. 
  
  
  
  
  42. 
  
  
  
  
  43. # 开始执行爬虫程序并对指定的数据进行持久化操作
    44. 
  
  
  
  
  44. def start_crawl(seed_url, match_pattern, *, max_depth=-1):
    45. 
  
  
  
  
  45.     conn = pymysql.connect(host='localhost', port=3306,
    46. 
  
  
  
  
  46.                            database='crawler', user='root',
    47. 
  
  
  
  
  47.                            password='123456', charset='utf8')
    48. 
  
  
  
  
  48.     try:
    49. 
  
  
  
  
  49.         with conn.cursor() as cursor:
    50. 
  
  
  
  
  50.             url_list = [seed_url]
    51. 
  
  
  
  
  51.             # 通过下面的字典避免重复抓取并控制抓取深度
    52. 
  
  
  
  
  52.             visited_url_list = {seed_url: 0}
    53. 
  
  
  
  
  53.             while url_list:
    54. 
  
  
  
  
  54.                 current_url = url_list.pop(0)
    55. 
  
  
  
  
  55.                 depth = visited_url_list[current_url]
    56. 
  
  
  
  
  56.                 if depth != max_depth:
    57. 
  
  
  
  
  57.                     # 尝试用utf-8/gbk/gb2312三种字符集进行页面解码
    58. 
  
  
  
  
  58.                     page_html = get_page_html(current_url, charsets=('utf-8', 'gbk', 'gb2312'))
    59. 
  
  
  
  
  59.                     links_list = get_matched_parts(page_html, match_pattern)
    60. 
  
  
  
  
  60.                     param_list = []
    61. 
  
  
  
  
  61.                     for link in links_list:
    62. 
  
  
  
  
  62.                         if link not in visited_url_list:
    63. 
  
  
  
  
  63.                             visited_url_list[link] = depth + 1
    64. 
  
  
  
  
  64.                             page_html = get_page_html(link, charsets=('utf-8', 'gbk', 'gb2312'))
    65. 
  
  
  
  
  65.                             headings = get_matched_parts(page_html, r'
    (.*)
  
  
  
  
  66.                             if headings:
    67. 
  
  
  
  
  67.                                 param_list.append((headings[0], link))
    68. 
  
  
  
  
  68.                     cursor.executemany('insert into tb_result values (default, %s, %s)',
    69. 
  
  
  
  
  69.                                        param_list)
    70. 
  
  
  
  
  70.                     conn.commit()
    71. 
  
  
  
  
  71.     except Error:
    72. 
  
  
  
  
  72.         pass
    73. 
  
  
  
  
  73.         # logging.error('SQL:', error)
    74. 
  
  
  
  
  74.     finally:
    75. 
  
  
  
  
  75.         conn.close()
    76. 
  
  
  
  
  76. 
  
  
  
  
  77. 
  
  
  
  
  78. def main():
    79. 
  
  
  
  
  79.     ssl._create_default_https_context = ssl._create_unverified_context
    80. 
  
  
  
  
  80.     start_crawl('http://sports.sohu.com/nba_a.shtml',
    81. 
  
  
  
  
  81.                 r']+test=a\s[^>]*href=["\'](.*?)["\']',
    82. 
  
  
  
  
  82.                 max_depth=2)
    83. 
  
  
  
  
  83. 
  
  
  
  
  84. 
  
  
  
  
  85. if __name__ == '__main__':
    86. 
  
  
  
  
  86.     main()
    87.

由于使用了MySQL实现持久化操作，所以要先启动MySQL服务器再运行该程序。

文章标题：2019网络爬虫和相关工具
标题URL：http://www.csdahua.cn/qtweb/news32/416582.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

企业建站知识

各行业网站

APP定制　　 　彭州网站建设　　 　云主机　　 　西部信息中心　　 　绵阳电信服务器托管　　 　成都做网站　　 　成都定制网站　　 　升施印刷　　 　App开发　　 　h5页面制作　　 　雅安服务器托管　　 　德阳网站建设　　 　托管服务器　　 　铁科精智测控　　 　企业网站设计　　 　成都网络营销　　 　成都服务器租用　　 　和正兴机械　　 　航龙航空　　 　联通服务器托管