爬虫作业1:爬取肯德基餐厅地址查询

本文介绍使用Python爬虫获取肯德基餐厅位置信息的方法。以肯德基官网为例,通过分析网站发现餐厅查询为Ajax请求,打开抓包工具查看POST请求携带的参数,如关键词、页码等,可动态设置参数,最后发起请求获取餐厅位置信息。

网址:https://www.kfc.com.cn/kfccda/index.aspx
流程与爬取豆瓣电影排行榜一致
分析一下网站:
进入肯德基官网:
在这里插入图片描述
点击最下面,餐厅查询。
餐厅关键词写一个城市,例如:北京
记住此时的URL;
然后点击查询,如果当前的URL和之前没有点击查询前的URL不一致,那么这就不是一个Ajax请求;如果变化了,则是。

点击后发现并未变化,页面进行了局部刷新,为Ajax请求,这个请求对应的数据包,我们对数据包所指定的URL发起请求就可以拿到这些餐厅位置信息了。

打开抓包工具:
选择Network–XHR,看到了这个数据包
在这里插入图片描述
这是一个POST请求,
往下拉,查看POST请求的携带参数:
cname:
pid:
keyword: 北京
pageIndex: 1
pageSize: 10

同理,keyword可以设置为动态的,pageIndex为第一页。
响应数据:text数据

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 18 16:04:26 2020

@aut
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值