看我如何抓取二手房价数据

 上次为大家介绍了如何通过 Python 抓取新房楼盘价格信息，很多朋友都在问，那二手房最新的价格信息要如何抓取呢?好!今天就再来为大家讲一讲，二手房的房价信息要怎么抓取。

模块安装

同上次新房一样，这里需要安装以下模块(当然如果已安装就不用再装了)：

 
 
 
 
    
  
  
  
  
  1. # 安装引用模块
    2. 
  
  
  
  
  2. pip3 install bs4
    3. 
  
  
  
  
  3. pip3 install requests
    4. 
  
  
  
  
  4. pip3 install lxml
    5. 
  
  
  
  
  5. pip3 install numpy
    6. 
  
  
  
  
  6. pip3 install pandas
    7.

好了，安装完成后，就可以开始写代码了。至于配置请求头和代理IP地址的代码，上次介绍新房已经说过了，这里不再赘述，下面直接上抓取代码。

二手房价数据对象

在这里我们将二手房的房价信息，创建成一个对象，后续我们只要将获取到的数据保存成对象，再处理就会方便很多。SecHouse 对象代码如下所示：

 
 
 
 
    
  
  
  
  
  1. # 二手房信息对象
    2. 
  
  
  
  
  2. class SecHouse(object):
    3. 
  
  
  
  
  3.     def __init__(self, district, area, name, price, desc, pic):
    4. 
  
  
  
  
  4.         self.district = district
    5. 
  
  
  
  
  5.         self.area = area
    6. 
  
  
  
  
  6.         self.price = price
    7. 
  
  
  
  
  7.         self.name = name
    8. 
  
  
  
  
  8.         self.desc = desc
    9. 
  
  
  
  
  9.         self.pic = pic
    10. 
  
  
  
  
  10.     def text(self):
    11. 
  
  
  
  
  11.         return self.district + "," + \
    12. 
  
  
  
  
  12.                 self.area + "," + \
    13. 
  
  
  
  
  13.                 self.name + "," + \
    14. 
  
  
  
  
  14.                 self.price + "," + \
    15. 
  
  
  
  
  15.                 self.desc + "," + \
    16. 
  
  
  
  
  16.                 self.pic
    17.

获取二手房价信息并保存

准备好了，下面我们依然以贝壳为例，批量爬取其北京地区二手房数据，并保存到本地。这里我主要想说的是如何抓取数据过程，所以这里依然就保存成最简单的 txt 文本格式。如果想保存到数据库，可以自行修改代码进行保存数据库处理。

获取区县信息

我们在抓取二手房信息时，肯定想知道这个房源所在地区，所以这里我写了个方法把北京市所有区县信息抓取下来，并临时保存至列表变量里，以备后续程序中使用，代码如下：

 
 
 
 
    
  
  
  
  
  1. # 获取区县信息
    2. 
  
  
  
  
  2. def get_districts():
    3. 
  
  
  
  
  3.     # 请求 URL
    4. 
  
  
  
  
  4.     url = 'https://bj.ke.com/xiaoqu/'
    5. 
  
  
  
  
  5.     headers = create_headers()
    6. 
  
  
  
  
  6.     # 请求获取数据
    7. 
  
  
  
  
  7.     response = requests.get(url, timeout=10, headers=headers)
    8. 
  
  
  
  
  8.     html = response.content
    9. 
  
  
  
  
  9.     root = etree.HTML(html)
    10. 
  
  
  
  
  10.     # 处理数据
    11. 
  
  
  
  
  11.     elements = root.xpath('///div[3]/div[1]/dl[2]/dd/div/div/a')
    12. 
  
  
  
  
  12.     en_names = list()
    13. 
  
  
  
  
  13.     ch_names = list()
    14. 
  
  
  
  
  14.     # 循环处理对象
    15. 
  
  
  
  
  15.     for element in elements:
    16. 
  
  
  
  
  16.         link = element.attrib['href']
    17. 
  
  
  
  
  17.         en_names.append(link.split('/')[-2])
    18. 
  
  
  
  
  18.         ch_names.append(element.text)
    19. 
  
  
  
  
  19. 
  
  
  
  
  20.     # 打印区县英文和中文名列表
    21. 
  
  
  
  
  21.     for index, name in enumerate(en_names):
    22. 
  
  
  
  
  22.         chinese_city_district_dict[name] = ch_names[index]
    23. 
  
  
  
  
  23.     return en_names
    24.

获取地区板块

除了上面要获取区县信息，我们还应该获取比区县更小的板块区域信息，同样的区县内，不同板块地区二手房的价格等信息肯定不一样，所以板块对于我们来说也很重要，具有一次参考价值。获取板块信息代码如下：

 
 
 
 
    
  
  
  
  
  1. # 获取某个区县下所有板块信息
    2. 
  
  
  
  
  2. def get_areas(district):
    3. 
  
  
  
  
  3.     # 请求的 URL
    4. 
  
  
  
  
  4.     page = "http://bj.ke.com/xiaoqu/{0}".format(district)
    5. 
  
  
  
  
  5.     # 板块列表定义
    6. 
  
  
  
  
  6.     areas = list()
    7. 
  
  
  
  
  7.     try:
    8. 
  
  
  
  
  8.         headers = create_headers()
    9. 
  
  
  
  
  9.         response = requests.get(page, timeout=10, headers=headers)
    10. 
  
  
  
  
  10.         html = response.content
    11. 
  
  
  
  
  11.         root = etree.HTML(html)
    12. 
  
  
  
  
  12.         # 获取标签信息
    13. 
  
  
  
  
  13.         links = root.xpath('//div[3]/div[1]/dl[2]/dd/div/div[2]/a')
    14. 
  
  
  
  
  14. 
  
  
  
  
  15.         # 针对list进行处理
    16. 
  
  
  
  
  16.         for link in links:
    17. 
  
  
  
  
  17.             relative_link = link.attrib['href']
    18. 
  
  
  
  
  18.             # 最后"/"去掉
    19. 
  
  
  
  
  19.             relative_link = relative_link[:-1]
    20. 
  
  
  
  
  20.             # 获取最后一节信息
    21. 
  
  
  
  
  21.             area = relative_link.split("/")[-1]
    22. 
  
  
  
  
  22.             # 去掉区县名称,以防止重复
    23. 
  
  
  
  
  23.             if area != district:
    24. 
  
  
  
  
  24.                 chinese_area = link.text
    25. 
  
  
  
  
  25.                 chinese_area_dict[area] = chinese_area
    26. 
  
  
  
  
  26.                 # 加入板块信息列表
    27. 
  
  
  
  
  27.                 areas.append(area)
    28. 
  
  
  
  
  28.         return areas
    29. 
  
  
  
  
  29.     except Exception as e:
    30. 
  
  
  
  
  30.         print(e)
    31.

获取二手房信息并保存

 
 
 
 
    
  
  
  
  
  1. # 创建文件准备写入
    2. 
  
  
  
  
  2. with open("sechouse.txt", "w", encoding='utf-8') as f:
    3. 
  
  
  
  
  3.     # 定义变量
    4. 
  
  
  
  
  4.     total_page = 1
    5. 
  
  
  
  
  5.     # 初始化 list
    6. 
  
  
  
  
  6.     sec_house_list = list()
    7. 
  
  
  
  
  7.     # 获取所有区县信息
    8. 
  
  
  
  
  8.     districts = get_districts()
    9. 
  
  
  
  
  9.     # 循环处理区县
    10. 
  
  
  
  
  10.     for district in districts:
    11. 
  
  
  
  
  11.         # 获取某一区县下所有板块信息
    12. 
  
  
  
  
  12.         arealist = get_areas(district)
    13. 
  
  
  
  
  13.         # 循环遍历所有板块下的小区二手房信息
    14. 
  
  
  
  
  14.         for area in arealist:
    15. 
  
  
  
  
  15.             # 中文区县
    16. 
  
  
  
  
  16.             chinese_district = chinese_city_district_dict.get(district, "")
    17. 
  
  
  
  
  17.             # 中文版块
    18. 
  
  
  
  
  18.             chinese_area = chinese_area_dict.get(area, "")
    19. 
  
  
  
  
  19.             # 请求地址
    20. 
  
  
  
  
  20.             page = 'http://bj.ke.com/ershoufang/{0}/'.format(area)
    21. 
  
  
  
  
  21.             headers = create_headers()
    22. 
  
  
  
  
  22.             response = requests.get(page, timeout=10, headers=headers)
    23. 
  
  
  
  
  23.             html = response.content
    24. 
  
  
  
  
  24.             # 解析 HTML
    25. 
  
  
  
  
  25.             soup = BeautifulSoup(html, "lxml")
    26. 
  
  
  
  
  26. 
  
  
  
  
  27.             # 获取总页数
    28. 
  
  
  
  
  28.             try:
    29. 
  
  
  
  
  29.                 page_box = soup.find_all('div', class_='page-box')[0]
    30. 
  
  
  
  
  30.                 matches = re.search('.*data-total-count="(\d+)".*', str(page_box))
    31. 
  
  
  
  
  31.                 # 获取总页数
    32. 
  
  
  
  
  32.                 total_page = int(math.ceil(int(matches.group(1)) / 10))
    33. 
  
  
  
  
  33.             except Exception as e:
    34. 
  
  
  
  
  34.                 print(e)
    35. 
  
  
  
  
  35. 
  
  
  
  
  36.             print(total_page)
    37. 
  
  
  
  
  37.             # 设置请求头
    38. 
  
  
  
  
  38.             headers = create_headers()
    39. 
  
  
  
  
  39.             # 从第一页开始,遍历到最后一页
    40. 
  
  
  
  
  40.             for i in range(1, total_page + 1):
    41. 
  
  
  
  
  41.                 # 请求地址
    42. 
  
  
  
  
  42.                 page = 'http://bj.ke.com/ershoufang/{0}/pg{1}'.format(area,i)
    43. 
  
  
  
  
  43.                 print(page)
    44. 
  
  
  
  
  44.                 # 获取返回内容
    45. 
  
  
  
  
  45.                 response = requests.get(page, timeout=10, headers=headers)
    46. 
  
  
  
  
  46.                 html = response.content
    47. 
  
  
  
  
  47.                 soup = BeautifulSoup(html, "lxml")
    48. 
  
  
  
  
  48. 
  
  
  
  
  49.                 # 获得二手房查询列表
    50. 
  
  
  
  
  50.                 house_elements = soup.find_all('li', class_="clear")
    51. 
  
  
  
  
  51.                 # 遍历每条信息
    52. 
  
  
  
  
  52.                 for house_elem in house_elements:
    53. 
  
  
  
  
  53.                     # 价格
    54. 
  
  
  
  
  54.                     price = house_elem.find('div', class_="totalPrice")
    55. 
  
  
  
  
  55.                     # 标题
    56. 
  
  
  
  
  56.                     name = house_elem.find('div', class_='title')
    57. 
  
  
  
  
  57.                     # 描述
    58. 
  
  
  
  
  58.                     desc = house_elem.find('div', class_="houseInfo")
    59. 
  
  
  
  
  59.                     # 图片地址
    60. 
  
  
  
  
  60.                     pic = house_elem.find('a', class_="img").find('img', class_="lj-lazy")
    61. 
  
  
  
  
  61. 
  
  
  
  
  62.                     # 清洗数据
    63. 
  
  
  
  
  63.                     price = price.text.strip()
    64. 
  
  
  
  
  64.                     name = name.text.replace("\n", "")
    65. 
  
  
  
  
  65.                     desc = desc.text.replace("\n", "").strip()
    66. 
  
  
  
  
  66.                     pic = pic.get('data-original').strip()
    67. 
  
  
  
  
  67. 
  
  
  
  
  68.                     # 保存二手房对象
    69. 
  
  
  
  
  69.                     sec_house = SecHouse(chinese_district, chinese_area, name, price, desc, pic)
    70. 
  
  
  
  
  70.                     print(sec_house.text())
    71. 
  
  
  
  
  71.                     sec_house_list.append(sec_house)
    72. 
  
  
  
  
  72.             # 循环遍历将信息写入 txt
    73. 
  
  
  
  
  73.             for sec_house in sec_house_list:
    74. 
  
  
  
  
  74.                 f.write(sec_house.text() + "\n")
    75.

到这里代码就写好了，现在我们就可以通过命令 python sechouse.py 运行代码进行数据抓取了。抓取的结果我们可以打开当前目录下 sechouse.txt 文件查看，结果如下图所示：

总结本文为大家介绍了如何通过 Python 将房产网上的二手房数据批量抓取下来，经过一段时间的抓取，我们就可以将抓取的结果进行对比分析，看看二手房价最近是涨还是跌?如果喜欢我们的文章，请关注收藏再看。

本文题目：看我如何抓取二手房价数据
分享路径：http://www.csdahua.cn/qtweb/news21/351721.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

响应式网站知识

同城分类信息

成都网站推广　　 　西云服务器托管　　 　亚克力背部发光字　　 　金羊影视传媒　　 　成都搬家公司　　 　成都网站建设公司　　 　成都免费做网站　　 　堡垒主机　　 　成都装修公司　　 　免备案虚拟主机　　 　四川雅安服务器托管　　 　四川绵阳主机托管　　 　app软件开发　　 　网站排名　　 　四川审计公司　　 　四川艾名斯　　 　成都网站推广公司　　 　成都多线机房　　 　域名注册　　 　防护网厂