链家网二手房数据爬虫项目分享

原创 于 2025-11-11 21:31:09 发布 · 2.5k 阅读 · 17 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#爬虫 #数据抓取 #Python #二手房数据 #Xpath
#计算机科学与技术
该文章已生成可运行项目，

链家网二手房数据爬虫项目分享

1 写在前面

大家好！今天给同学们分享一个实用的项目——《链家网二手房数据爬虫》。这个项目基于Python语言的lxml库，通过xpath路径解析获取数据，并结合多线程并发爬取，对速度和异常处理都做了很好的优化。

数据爬取字段包括：‘标题’, ‘关注’, ‘小区’, ‘位置’, ‘城市’, ‘房屋类型’, ‘面积’, ‘单价’, ‘总价’, ‘介绍’, ‘详情网址’, ‘图片’。我提供了两种数据存储方式：CSV文件保存和MySQL数据库保存。代码中已添加详细注释，方便同学们理解。

项目主要涉及的技术模块：request、pandas、lxml、threading、csv。

PS：代码以西安市为例，同学们只需修改关键字即可爬取指定城市的数据！

2 目标网站分析

在这里插入图片描述

本次爬取的是链家网的二手房房源数据。通过分析网页结构，我们可以采集以下字段：‘标题’, ‘关注’, ‘小区’, ‘位置’, ‘城市’, ‘房屋类型’, ‘面积’, ‘单价’, ‘总价’, ‘介绍’, ‘详情网址’, ‘封面图片’。

2.1 网页结构分析

打开开发者工具（F12或右键检查），可以发现房源信息位于ul标签下的li元素中，每个li对应一个房源对象。
在这里插入图片描述

2.2 获取房源标题

房源标题位于a标签的文本中，获取方式如下：

  1. 先获取所有房源列表：li_List = tree.xpath("//*[@class='sellListContent']/li")
  2. 在相对位置获取标题：title = li.xpath('./div/div/a/text()')[0]

在这里插入图片描述

2.3 获取图片URL

图片URL位于img标签的data-original属性中，获取方式为：li.xpath('./a/img/@data-original')[0]
在这里插入图片描述

2.4 反爬虫处理

链家网在爬取超过5个页面（约150条数据）后会触发反爬机制。解决方案有多种，可以使用Selenium库进行自动化测试，也可以直接使用Cookie绕过。
在这里插入图片描述

2.5 获取Cookie的方法
  1. 在开发者工具中选择"网络(Network)"选项卡
  2. 筛选XHR请求
  3. 找到相关请求并复制Cookie值
    在这里插入图片描述

3 完整代码实现

import requests
import threading
import pandas as pd
from lxml import etree
import csv
from datetime import datetime
import pymysql

# 数据库连接配置
cnx = pymysql.connect(
    host="localhost",
    user="root",
    password="123456",
    database="secondhouse_xian"
)
cursor = cnx.cursor()

# 全局变量
count = []  # 全部信息列表
city = '西安'  # 目标城市
filename = f'{city}.csv'  # CSV文件名（带时间戳）


# 生成1-10页URL
def url_creat():
    url = 'https://xa.lianjia.com/ershoufang/pg{}/'
    return [url.format(i) for i in range(1, 51)]


# CSV存储函数
def save_to_csv(data):
    # 定义CSV表头
    headers = ['标题', '关注', '小区', '位置', '城市', '房屋类型', '面积', '单价', '总价', '介绍', '详情网址', '图片']

    # 首次写入时创建文件并写入表头
    with open(filename, 'a', newline='', encoding='utf-8-sig') as f:
        writer = csv.DictWriter(f, fieldnames=headers)
        if f.tell() == 0:
            writer.writeheader()
        writer.writerow(data)


# 页面解析函数
def url_parse(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36 Edg/136.0.0.0',
        'Cookie': 'lianjia_uuid=6d0f2fe3-bef2-43cd-a750-939bb2e2f2f7; select_city=330100; lianjia_ssid=1807dc6c-353e-4e7c-a4a6-caaae625f69d; '
                 'crosSdkDT2019DeviceId=-if7r1q-bohvfg-83zboka4c1llock-iihmr2p59; login_ucid=2000000456398621; '
                 'lianjia_token=2.00142d0bba43fa714b0580228b73f70576; lianjia_token_secure=2.00142d0bba43fa714b0580228b73f70576; '
                 'security_ticket=UgAs85ty1j+KdeDNa49PrErJN6hc68OmqtitvxeskqSNS6hdJJ2PBLT0Bh62YyMhnstpwUB/x7a3/9fvfcAjhPMF8c1id9nGUCwZ1GgRxjwWsijqvaEobK0A2AHw6QdsLDuHKa9YmDuzfWDIjmgE7QDLVHyv81Ff4eM9apx1eV4=; '
                 'ftkrc_=ef9af662-ad8b-41fd-a832-9eaad5228488; lfrc_=8cb541c4-bed6-4f20-a39b-bdeff87fb5ec; '
                 'Hm_lvt_46bf127ac9b856df503ec2dbf942b67e=1746682060; HMACCOUNT=36F711E17DDBF3F9;'
                 ' _qzjc=1; srcid=eyJ0Ijoie1wiZGF0YVwiOlwiZDY2ODNiZTlmMjJlMDUxMDA2ZDU4NTg2NjJlOTA2NjY5MzU3Zjc5ODRlYjFiNWJiOWI2NDFmYjMyOTBkYTc2ZmY0MzdlNzNmNzNkZDlmYWU1Mjk1ZThkN2UzZmNkMGQ1MTkyYmIyNTI4YzY1NjNmYzNjMGJkOTA2ZWNkYzBmZGJlOGYxM2NkODA5MWQ1YjZlZWJlZjQ2ZWMzMjgwZmMxNDUwMjIyNDA4NjA4YjU2MzliYmYyMDkwNGI4NmIyODMzNTg0ZWYwYzAyYzVlZjQzMzQ5YTQ4NjM0N2Y0YmIxM2VmNTVlOGUzNDU0NWQ2NTc3NDY5MmUzMTMxODAwNDcyOFwiLFwia2V5X2lkXCI6XCIxXCIsXCJzaWduXCI6XCJjMzU0MWE0OVwifSIsInIiOiJodHRwczovL2h6LmxpYW5qaWEuY29tL2Vyc2hvdWZhbmcvcGcxLyIsIm9zIjoid2ViIiwidiI6IjAuMSJ9; _jzqa=1.3628376045562550000.1746682061.1746682061.1746682061.1; '
                 '_jzqc=1; _jzqx=1.1746682061.1746682061.1.jzqsr=clogin%2Elianjia%2Ecom|jzqct=/.-; _jzqckmp=1; sajssdk_2015_cross_new_user=1; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22196ae5d21e91cd9-07056658c83a518-4c657b58-1327104-196ae5d21ea35ce%22%2C%22%24device_id%22%3A%22196ae5d21e91cd9-07056658c83a518-4c657b58-1327104-196ae5d21ea35ce%22%2C%22props%22%3A%7B%7D%7D; _ga=GA1.2.1014061828.1746682072; '
                 '_gid=GA1.2.288150949.1746682072; _gat=1; _gat_past=1; _gat_global=1; _gat_new_global=1; _gat_dianpu_agent=1; '
                 '_ga_W9S66SNGYB=GS2.2.s1746682072$o1$g0$t1746682072$j0$l0$h0; _ga_1W6P4PWXJV=GS2.2.s1746682072$o1$g0$t1746682072$j0$l0$h0; '
                 '_qzja=1.1120861123.1746682060329.1746682060329.1746682060329.1746682060329.1746682085924.0.0.0.2.1; _qzjb=1.1746682060329.2.0.0.0; '
                 '_qzjto=2.1.0; _jzqb=1.2.10.1746682061.1; Hm_lpvt_46bf127ac9b856df503ec2dbf942b67e=1746682086'
    }
    
    try:
        response = requests.get(url=url, headers=headers, timeout=10)
        response.encoding = 'utf-8'
        tree = etree.HTML(response.text)

        li_List = tree.xpath("//*[@class='sellListContent']/li")
        lock = threading.RLock()

        with lock:
            for li in li_List:
                # 数据提取
                title = li.xpath('./div/div/a/text()')[0]
                link = li.xpath('./div/div/a/@href')[0]
                attention = li.xpath('./div/div/text()')[0].split('人')[0]
                # 位置
                postion = li.xpath('./div/div[2]/div/a/text()')[0] + li.xpath('./div/div[2]/div/a[2]/text()')[0]
                # 类型
                types = li.xpath('./div/div[3]/div/text()')[0].split(' | ')[0]
                # 面积
                area = li.xpath('./div/div[3]/div/text()')[0].split(' | ')[1]
                # 房屋信息
                info = li.xpath('./div/div[3]/div/text()')[0].split(' | ')[2:-1]
                info = ''.join(info)
                # 总价
                count_price = li.xpath('.//div/div[6]/div/span/text()')[0]
                # 单价
                angle_price = li.xpath('.//div/div[6]/div[2]/span/text()')[0]
                # 图片链接
                pic_link = li.xpath('./a/img/@data-original')[0]

                dic = {
                    '标题': title,
                    '关注': attention,
                    '小区': postion.split(' ')[0],
                    '位置': postion.split(' ')[1],
                    '城市': city,
                    '房屋类型': types,
                    '面积': area,
                    "单价": angle_price,
                    '总价': count_price,
                    '介绍': info,
                    "详情网址": link,
                    '图片': pic_link
                }
                print(dic)

                # 实时保存到CSV
                save_to_csv(dic)
                count.append(dic)

    except Exception as e:
        print(f"Error processing {url}: {str(e)}")


# 主运行函数
def run():
    links = url_creat()
    threads = []

    # 创建并启动线程
    for url in links:
        t = threading.Thread(target=url_parse, args=(url,))
        threads.append(t)
        t.start()

    # 等待所有线程完成
    for t in threads:
        t.join()

    # 可选：将所有数据再次保存为完整CSV（防止漏存）
    pd.DataFrame(count).to_csv(filename, index=False, encoding='utf-8-sig')
    print(f"数据已保存至 {filename}，共爬取 {len(count)} 条记录")


# CSV数据导入MySQL数据库
def csv_to_mysql_simple(csv_file):
    """极简版CSV数据入库"""
    with open(csv_file, 'r', encoding='utf-8-sig') as f:
        reader = csv.DictReader(f)
        # 批量插入SQL模板
        sql = """INSERT INTO House(title, attention, community, location, city, house_type, area, unit_price, total_price, description, detail_url, image_url)
                VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"""

        # 遍历每一行数据
        for row in reader:
            try:
                cursor.execute(sql, (
                    row['标题'],
                    int(row['关注']),  # 转换为整数
                    row['小区'],
                    row['位置'],
                    row['城市'],
                    row['房屋类型'],
                    row['面积'],
                    row['单价'],
                    row['总价'],
                    row['介绍'],
                    row['详情网址'],
                    row['图片']
                ))
                cnx.commit()  # 提交事务
            except Exception as e:
                print(f"插入失败: {row['标题']}，错误原因: {str(e)}")
                cnx.rollback()  # 回滚当前事务

    print("数据导入完成！")


if __name__ == '__main__':
    run()  # 注释该行会只将爬取的CSV文件存储在MySQL数据库
    csv_to_mysql_simple('西安.csv')  # 注释该行会只执行爬取数据到CSV文件

在这里插入图片描述
在这里插入图片描述

项目总结

这个链家网二手房数据爬虫项目展示了如何使用Python进行网页数据抓取，包括：

  1. 使用requests库发送HTTP请求
  2. 使用lxml和xpath解析网页内容
  3. 使用多线程提高爬取效率
  4. 处理反爬虫机制（通过Cookie）
  5. 数据存储到CSV文件和MySQL数据库

同学们可以根据自己的需求修改代码，例如更改目标城市、调整爬取字段或优化存储方式。希望这个项目对大家学习网络爬虫有所帮助！

如果有任何问题，欢迎在评论区留言讨论。

本文章已经生成可运行项目
爬取链家二手房房价数据存入mongodb并进行分析
sinat_20471177的博客
02-21 2692
1.使用python将爬虫数据存入mongodb；2.使用python读取mongodb数据并进行可视化分析。
用Python爬虫爬取链家网上的房源信息
shayebuhui_a的博客
12-21 1万+
相信有很多朋友在学习python后，一定都有过使用这门语言编写爬虫的想法。刚刚学习了python的小编也是如此。这里小编就以python新手的身份分享一下我们使用python爬虫爬取链家网上的房源信息的过程。如有大佬路过，求大佬指出其中需要改进的地方，小菜我感激不尽。 编写爬虫之前，我们首先应该搞清楚爬虫到底是干什么的。这里语言表达力不足的小编只好借用度娘上的答案向大家介绍一下： 网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者...
Python爬虫实战，链家二手房数据轻松抓取！
weixin_42684533的博客
08-13 6604
随着大数据时代的到来，数据分析已经成为各行各业的重要竞争力。而数据采集作为数据分析的前置步骤，其重要性不言而喻。今天，我们就来聊聊如何使用Python爬虫技术，轻松抓取链家二手房数据。。
【毕业设计】 大数据二手房数据爬取与分析可视化 -python 数据分析 可视化
热门推荐
HUXINY的博客
09-12 1万+
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 基于大数据招聘岗位数据分析与可视化系统🥇学长这里给一个题目综合评分(每项满分5分)🧿 选题指导, 项目分享：https://gitee.com/dancheng-senior/project-sharing-1/blob/master/%E6%A
Python爬取链家的数据并绘制热力图
MeteorChenBo的博客
08-16 1万+
最近开始入坑Python爬虫，专业是地理信息系统，对地理位置相关的信息比较感兴趣，所以就试着爬南京链家的二手房数据，并利用百度API绘制出热力图。Python的版本是Python3.6，然后用到了requests库和BeautifulSoup库还有csv库，IDE用的是PyCharm
Python-Selennium之爬虫实战--链家二手房爬虫项目
qq_42209504的博客
07-02 4635
万物皆可selenium之链家二手房成交记录爬虫实战1.selenium的安装2.浏览器驱动的选用及安装这边我用的火狐浏览器驱动，因为谷歌浏览器驱动设置IP代理老是失败2.1下载链接: [Geckodriver](https://github.com/mozilla/geckodriver/releases).2.2安装: 我是用的jupyter notebook，所以教大家一个简便办法，将Geckodriver直接上传到你的jupyter notebook里面。点击upload然后，上传。上传后会出现在下
爬虫实例：链家网房源数据爬取
shelleyhere的博客
06-18 1万+
库和方法介绍： （1）requests requests是python的工具包，用于发出请求，，是用来获取网站数据。Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。本次爬取代码使用的其中的get方法，最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。这个对象是Request库内部生成的。这时候返回的
爬虫实例：链家二手房数据爬取
bagell的博客
12-29 5291
​ 需求：根据用户所选省份及城市爬取对应的二手房数据及图片，并将数据保存到excel中，图片保存到文件夹中，得到的数值类型的单价、总价和关注度，并画出单价与关注度，总价与关注度的图像，并找出关注度最高的二手房单价和总价。
Python爬虫入门(链家爬虫)存入Excel表格（适合初学者）
m0_59162248的博客
02-07 4363
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。发现我们已经成功定位到了这个数据那我们进一步去取数据吧！掏出我们祖上传下的传家模板写出我们的翻页并且看看我们能不能获取响应。
小生不才，真实记录爬取链家网2584条租房信息，聊一聊框架爬取大量数据防止被ban的事
cc的博客
07-06 1万+
CrawlSpider爬取链家租房网1. 简单说一说自己爬取后的想法2. crawlspider爬虫思路和简单网页分析2.1 目标网页2.2 网页分析和爬取的思路3. 主要的爬虫代码4. 当请求过多防止ip被ban的方法4.1 设置 ROBOTSTXT_OBEY4.2 设置更换请求头user-agent4.3 设置自己的ip池4.4 设置scrapy框架本身的爬取速度5. 爬取数据库结果6. 总结 1. 简单说一说自己爬取后的想法 爬取链家网的代码，方法，可视化，成果展示在csdn上有很多，有很多都是一次性
毕业设计项目 大数据二手房数据爬取与分析可视化
最新发布
mabile123444的博客
08-01 766
本文介绍了一个基于大数据的二手房数据分析与可视化系统，通过爬虫技术采集链家网房源数据，经过清洗后运用K-means聚类算法进行分析，并实现多维度的可视化展示。系统采用Python爬虫采集数据，通过数据清洗处理缺失值和异常值，运用折线图、柱状图、饼图、热力图等多种可视化方式展示各区域房源分布、价格区间、户型占比等关键指标。项目创新性地结合了大数据采集、清洗、分析和可视化技术，为购房决策提供数据支持。系统实现过程详细介绍了爬虫反爬策略、数据清洗方法和K-means算法原理，具有较高的参考价值，可作为毕业设计项目
Python二手房数据可视化分析
熊百涛的博客
04-09 1315
一款界面和谐功能完全的二手房数据可视化分析项目，项目实现了：1、用户登录注册,2、个人信息编辑以及个人密码修改,3、数据分页总览以及实现了用户可以对心仪二手房房源进行收藏和删除,4、首页大屏展示了用户的注册数据以及数据库中所有房源数据的基本属性数据,5、针对爬取的房源数据的各个字段做可视化图表分析处理！
封禁 爬虫 高德api_程序员的选房神技，GitHub上的房源爬虫
weixin_32445333的博客
12-14 375
买房，在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况，要选到一个自己心仪的房子可谓难度不小。而且，伴随着房价上涨的还有房租。买不起房的，想要租个合适的小窝也不容易啊！正在看房路上的我，只能用下图表达此时心情！万万没想到的是，在选房这个难题上，程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源，搭配数据分析轻松就搞定了自己的小窝。此时的你，是不是流下了“不懂技术”的...
爬取某家网二手房数据（详细教程）
杜小白Blog
11-07 7622
这里写目录标题项目描述：项目实施：1. 确定目标1.1 先来说第一个页面上述设置的目的是：所以我们可以在代码中这样呈现：1.2中间的列表部分下面的翻页部分：1.3 第二个页面从价格部分可以获取到：参考总价、单价从所在区域可以获取到：小区名称、大区域+小区域基本信息+交易信息数据如下图：最后是地图部分的数据：2. 流程设计3. 主要代码复现核心代码分析，完整代码看链接：获取当前条件下的房屋数据个数：判断是否超过3000，若超过则进行第二级筛选，若未超过则直接获取数据4. 运行完整代码：总结： 今天分享一篇爬虫
大数据毕设 - 大数据二手房数据分析与可视化（python 爬虫）
caxiou的博客
11-21 6576
🔥 Hi，大家好，这里是丹成学长的毕设系列文章！🔥 对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大… 毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很长时间，所以一旦发现问题，一定要提前准备，避免到后面措手不及，草草了事。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的新项目是🚩大数据二手房数据爬取与分析可视化🥇学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：3分。
Python教你一招，爬取链家二手房并做数据可视化分析
想学习python欢迎在评论区留言，我看到都会用心回复
08-10 7678
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内。【全网最全400个python实战项目】2023最新版 暑期禁止摆烂！练完开启Python兼职之旅~: 根据标签属性提取数据内容。
爬虫实例：爬取二手房数据
m0_73614183的博客
05-30 3013
​ 需求：根据用户所选省份及城市爬取对应的二手房数据及图片，并将数据保存到excel中，图片保存到文件夹中，得到的数值类型的单价、总价和关注度，并画出单价与关注度，总价与关注度的图像，并找出关注度最高的二手房单价和总价。
Python爬虫三：抓取链家已成交二手房信息（58W数据）
fishineye的专栏
06-23 9392
环境：Windows7+python3.6+Pycharm2017 目标：抓取链家北京地区已成交二手房信息（无需登录），如下图，户型、朝向、成交时间价格等，保存到csv。最后一共抓取约58W数据，程序运行8h。 ---全部文章：京东爬虫、链家爬虫、美团爬虫、微信公众号爬虫、字体反爬、Django笔记、阿里云部署、vi\vim入门---- 一、打开北京二手房网页https://bj.lianjia.com/ershoufang/，默认显示的是在售二手房信息，一共45634套，但是只显示了100页..
Python爬虫逆袭：1小时搞定链家全网二手房数据，新手也能轻松抄作业！
weixin_62375676的博客
03-31 4068
本文详细介绍基于Python的链家二手房数据爬虫实现，通过requests和BeautifulSoup库抓取房源信息。代码分为五大模块：环境准备、反爬策略配置、分页URL动态收集、数据解析提取及异常处理与存储。爬虫模拟浏览器请求，自动解析分页逻辑，高效提取房源标题、价格、面积等关键字段，并通过pandas导出为结构化Excel文件。项目注重健壮性设计，包含随机延时、异常捕获等机制，适合作为数据采集入门实战参考，同时强调合法合规的爬虫开发原则。
爬虫项目六：用Python爬下链家新房所有城市近三万条数据
weixin_47163937的博客
03-22 2821
文章目录前言一、分析url二、拼接url1.实例化chrome2.获取首字符、page3.拼接url 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、分析url 这个url的构成很简单，https://后面是城市的首字母 pg后表示页数。我们为了拿到所有城市的房源数据，需要构造出准确无误的所有url 有了url利用request进.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员熊百涛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值