网址:https://www.kfc.com.cn/kfccda/index.aspx
流程与爬取豆瓣电影排行榜一致
分析一下网站:
进入肯德基官网:

点击最下面,餐厅查询。
餐厅关键词写一个城市,例如:北京
记住此时的URL;
然后点击查询,如果当前的URL和之前没有点击查询前的URL不一致,那么这就不是一个Ajax请求;如果变化了,则是。
点击后发现并未变化,页面进行了局部刷新,为Ajax请求,这个请求对应的数据包,我们对数据包所指定的URL发起请求就可以拿到这些餐厅位置信息了。
打开抓包工具:
选择Network–XHR,看到了这个数据包

这是一个POST请求,
往下拉,查看POST请求的携带参数:
cname:
pid:
keyword: 北京
pageIndex: 1
pageSize: 10
同理,keyword可以设置为动态的,pageIndex为第一页。
响应数据:text数据
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 18 16:04:26 2020
@aut

本文介绍使用Python爬虫获取肯德基餐厅位置信息的方法。以肯德基官网为例,通过分析网站发现餐厅查询为Ajax请求,打开抓包工具查看POST请求携带的参数,如关键词、页码等,可动态设置参数,最后发起请求获取餐厅位置信息。

585

被折叠的 条评论
为什么被折叠?



