网页爬取时执行状态成功，但获取不到想要的数据的时候解决方法(Network,XHR,json)

最新推荐文章于 2026-03-11 10:22:53 发布
原创 最新推荐文章于 2026-03-11 10:22:53 发布 · 1.6w 阅读 · 75
本文介绍如何在网页爬取过程中定位并解析XHR请求中的JSON数据，包括理解XHR的工作原理，如何在浏览器中查找相关请求，以及使用Python的requests库和json方法解析数据。

在这里插入图片描述
Network:

当我们爬取网页的内容，对源代码进行请求，响应的源代码中没有我们需要的东西时，需要查看Network

打开需要爬取的网页，进行源码检查，会发现左边框框里的是Elements，右边框框是我们需要关注的Network

在这里插入图片描述

在这里插入图片描述

Network 的功能是：记录在当前页面上所发生的所有请求（它是实时加载的，如果是空的，则需要刷新网页）
在这里插入图片描述
在图最下面显示，此处有16个请求，15.4kb的流量，耗时3.14s
在这里插入图片描述
在这里插入图片描述
其实这里的第一个，就是刚requests.get（）获取到的网页源代码，它里面不包含歌曲清

最低0.47元/天 解锁文章
代码没有错，但爬取网页无数据输出，因为遇到了异步加载网页
爱吃饼干的小白鼠的博客
10-26 4280
传统的网页如果需要更新内容，必须重新加载整个网页页面，网页加载速度慢，用户体验差，而且数据传输少，会造成宽带浪费。想要抓取这些通过异步加载方法的网页数据，需要了解网页时如何加载这些数据的，该过程就叫做逆向工程，俗称“抓包”。（3）打开Chrome浏览器的开发者工具（按F12），选择Network选项卡，再选择XHR项，可发现网页加载了用户“动态”内容的文件。（8）由于Response返回的是XML的文档，便可以通过Lxml库进行数据的抓取工作，需要抓取的内容为用为“动态”类型和时间信息。
Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一
m0_71242960的博客
12-23 2540
经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。
新伙伴求助，爬虫运行代码成功，但是json数据为空，谢谢
tricuspid的博客
10-11 1668
内容为代码
python爬虫不报错也不出结果？
m0_45207459的博客
05-28 1689
刚学爬虫对着视频想爬个网络小说但是代码写完不报错也不出结果，大佬们帮忙看看啥情况。# 从元组中取出部分链接进行拼接，获取每章的页面链接。# XPATH筛选出文本数据，并将数据列表转换成字符串。print("正在下载" + info[1])# 遍历列表，得到每章的部分链接和标题。
python爬取网页network_网页爬取时执行状态成功，但获取不到想要的数据的时候解决方法(Network,XHR,json)...
weixin_39524574的博客
12-03 2529
Network:当我们爬取网页的内容，对源代码进行请求，响应的源代码中没有我们需要的东西时，需要查看Network打开需要爬取的网页，进行源码检查，会发现左边框框里的是Elements，右边框框是我们需要关注的Network Network 的功能是：记录在当前页面上所发生的所有请求(它是实时加载的，如果是空的，则需要刷新网页) 在图最下面显示，此处有16个请求，15.4kb的流量，耗时3.14...
python学习笔记 Network XHR json
weixin_38764818的博客
01-31 1088
一.重新分析过程 从QQ音乐搜索周杰伦的歌，打印所有歌名，代码可以写成如下： import requests from bs4 import BeautifulSoup res_music = requests.get('https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&am...
不用刷新网页继续加载(获取)新的内容XHR
Nurbiya_K的博客
03-24 2623
昨天的博客里面有提到过，当requests.get()获取到的网页源码中没有我们需要的信息时，需要去查看Network里面的信息 XHR的功能是传输数据，其中有非常重要的一种数据是用json格式写成的，和html一样，这种数据能够有组织地存储大量内容。json的数据类型是“文本”，在Python语言当中，我们把它称为字符串。我们能够非常轻易地将json格式的数据转化为列表/字典，也能将列表/字...
爬取动态网页，Ajax动态加载和翻页时url不变的网页
weixin_43899514的博客
03-04 2775
文章目录一、找到动态位置二、确定post的url三、 爬取网页1. 获取网页2. 解析网页3. 数据打开4.文件保存附录：完整的python代码 本文主要通过一个实例，实现Ajax动态加载和翻页时url不变的网页。实例网址如下，在选择不同的页码时，网址未发生变化。传统的request,get语句无法实现翻页爬取，因此采用requests.post获取。以下为操作流程。 实例网址：https://souky.eol.cn/web/special/schoolrecom?specialid=2768 一、找
Python爬虫【五】动态网页爬虫1-API
Whitney
10-15 1417
Network面板 Network 记录的是从打开浏览器的开发者工具到网页加载完毕之间的所有请求。 Network面板常用功能： （1）清空按钮Clear：用于清空请求列表 （2）保留记录Preserve Log：勾选后会保留请求记录，常用于发生页面跳转时保留前一个页面的所有请求记录 （3）请求类型过滤器：ALL表示查看全部，点击其他的只会展示对应类型的请求。爬虫中常用的有ALL、XHR、Img、Media 名称 含义 All 全部类型 XHR XMLHttpRequest类型 .
爬取音乐排行榜，需要自补请求头
m0_73515513的博客
01-09 615
titles = soup.select('.pc_temp_songlist > ul > li > a') # 层层标签查找。def __init__(self): self.header = { } # 初始化函数，用来定义创建新文件的状态。class Kugou(object): # 定义一个类(Class)，类就是一个模板，模板里可以包含多个函数。if __name__ == '__main__': #当模块被直接运行时，以下代码块将被运行。
如何查看请求回来的JSON数据
热门推荐
大宇的博客，欢迎访问
08-05 1万+
F12---Network----XHR----Name下找到我们的请求------点击Preview查看返回的JSON数据。 如果你发送的请求是异步请求，那么可以在XHR下找到你的请求。 如果你发送的请求是非异步请求，也就是很普通的请求，那你就去 XHR 旁边的All 目录下找你的请求。找到请求后点击Preview即可查看。 ...
Python 爬虫 代码不报错，也不显示爬取内容，求解
cortanaji的博客
12-26 3879
#coding":"utf-8 import requests import hashlib import time import random import json class Youdao(object): def __init__(self,word): self.url =' https":"//fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' self.header.
为了让大家更好地学习python爬虫，我们做了一个“靶子”
Crossin的编程教室
07-01 612
1很多学习 python 的同学应该都听说过“网络爬虫”的概念，也可能听说过用 python 写网络爬虫很方便。那么什么是爬虫？百度百科上是这么定义的：网络爬虫（又称为网页蜘蛛，网络机器...
python抓取网页数据没有文件输出什么原因_爬虫小白练习用python爬取网站数据，pycharm没有报错也没有输出...
weixin_39605706的博客
11-29 919
[Python] 纯文本查看 复制代码from lxml import etreeimport requestsimport csvimport timeheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 ...
爬虫学习阶段三：动态网页爬取（完整学习文档）
最新发布
qq_41686383的博客
03-11 1256
动态网页是指页面内容不是写死在 HTML 中的，而是通过 JavaScript 向服务器请求数据（通常是 JSON），然后动态填充到 DOM 中。这种技术称为，现在更常用 JSON 作为数据格式。静态网页 vs 动态网页静态网页：所有内容在 HTML 源代码中直接可见。动态网页：HTML 源代码中只有框架，数据是通过后续 Ajax 请求加载的。判断方法：在浏览器中右键 → “查看网页源代码”，搜索你期望的数据。如果找不到，说明是动态加载的。
网页爬虫进阶
凡所过往，皆为序章
02-11 1200
网页爬虫进阶 爬取电影评论，自动登录博客，浏览器自动化，以及一些基础知识介绍~
qq 音乐 python 登录_python总结-Network（QQ音乐为例）
weixin_29026387的博客
02-11 497
1、什么是network？Network的功能是：记录在当前页面上发生的所有请求。爬取歌单的时候，我们会发现，request.get()并不能爬取到我们想要的内容。为什么呢？浏览器每时每刻工作的真相：它总是在向服务器，发起各式各样的请求。当这些请求完成，它们会一起组成我们在Elements中看到的网页源代码。我们只取了第0个请求，这里面不包含我们需要的内容(歌单)，所以就提取不出来。一般来说，都是...
爬虫二、Network---爬虫必备知识
随风的博客
04-03 1808
Network 读： [ˈnetwɜːk] n.网络;网状系统;关系网; v.将…连接成网络;联播;建立工作关系 Network能够记录当前浏览器的所有请求，它记录的是实时网络请求，刷新，浏览器会重新访问网络，这样就会有记录 1、ALL:查看全部。 2、XHR（或Fetch）:仅查看XHR,下拉可自动加载网页。XHR的功能是传输数据，其中有非常重要的一种数据是用json格式写成的，和html一样，这种数据能够有组织地存储大量内容。json的数据类型是“文本”，在Python语言当中，我们把它称为字符串。我们
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值