如何判断一个网页是不是动态页面

最新推荐文章于 2022-10-17 20:29:39 发布

原创最新推荐文章于 2022-10-17 20:29:39 发布 · 9.4k 阅读

13 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#动态页面

收录于

本文介绍如何通过Python的requests和BeautifulSoup库抓取静态网页内容，并利用selenium等工具处理动态加载的数据。读者将学会判断网页元素是否由JavaScript动态生成，并掌握相应抓取技巧。

如果你需要爬取的数据是放在js里面的，那么就是动态，需要用selenium等工具抓取。

跑下面的代码，就会把网页上所有元素都打印出来。ctrl+F搜索一下，如果要找的元素在一个js object里面，就说明是动态获取到的。

import requests
from bs4 import BeautifulSoup
url = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
response = requests.get(url)
soup = BeautifulSoup(response.text,'lxml')
print(soup.prettify())

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

codechelle

关注关注

2
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

iperf3不只是测速：5个被低估的实战场景，从内网诊断到服务压测

热门推荐

Mi1k7ea

11-01

3万+

很多网站通常会用到Ajax和动态HTML技术，因而只是使用基于静态页面爬取的方法是行不通的。对于动态网站信息的爬取需要使用另外的一些方法。先看看如何分辨网站时静态的还是动态的，正常而言含有“查看更多”字样或者打开网站时下拉才会加载内容出来的进本都是动态的，简便的方法就是在浏览器中查看页面相应的内容、当在查看页面源代码时找不到该内容时就可以确定该页面使用了动态技术。对于动态页面信息的爬取，一

判断一个网页是否是js动态网页

czh的博客

07-26

2586

1.在源代码中查看href属性，如果href = IP地址，这个子页面就是一个静态网页，如果href = 属性，这个子页面是一个动态网页（href = 属性，这个属性需要通过js加载，js可以让页面变成动态的页面，所以通过js加载的页面就是动态页面） 2.复制我们想要爬取的数据，在网页源代码中查找，如果在html中，这个页面就是静态页面，如果查找不到，说明我们想要的数据是通过js加载的，这个页面就是动态页面。通过Ajax加载的页面也是动态页面（动态页面的部分数据可能是静态的，所以判断的时候最好选取页面末尾

CSDN的“动态”功能浅分析

欢迎来到我的博客

10-15

1410

本章为对CSDN软件里“动态”功能的调研。点击CSDN底部导航栏里的【首页】，再点击顶部导航栏里的【动态】，可以看到“动态”功能主要分为五个板块，分别是“热门”、“最新”、“投票”、“同城”、“我的”。

静态网页和动态网页有什么不同？用这4点去鉴别

qq_44816473的博客

10-17

5756

【概要】很多同学在学习计算机这么课程都会接触编程，首要接触的必然是静态网页，后续还会学习动态网页，这两种类型往往很多人傻傻分不清，今天就来和大家分享几个方法来鉴别静态网页和动态网页有什么不同。

静态页面和动态页面

weixin_51508971的博客

05-17

5796

一、静态页面静态页面，即静态网页，是实际存在的，无需经过服务器的编译，直接加载到客户浏览器上显示出来。静态页面需要占一定的服务器空间，且不能自主管理发布更新的页面。静态页面一般指html，客户端使用浏览器，经过网络连接到web服务器使用HTTP协议发送请求，让web服务器根据请求从存放所有静态页面的磁盘中取出这个页面的内容，然后返回给客户端，这些内容经过浏览器渲染解析后就得到显示的效果。而JavaScript等则是为了将静态页面显示更加好看，这些效果都是客户端借助浏览器展示的。从上面的描述中也可以总

如何判断网页是动静态的

daibaohui的博客

07-26

8989

1.静态页面优点：相对于其他两种页面(动态页面和伪静态页面)，访问速度最快，访问的同时不需要从数据库里面提取数据，不仅访问速度块，而且也不会对服务器产生压力。缺点：由于数据都是存储在HTML里面，所以导致文件数据很大。更为严重的是，如果需要改动，所以的源码都要改动，而不能只改一个地方，全站静态页面就自动更改了。如果是大型网站，就会有较多的数据，占用大量的服务器空间资源，每次添加内容都会生成新的静态页面。维护起来较之于动态和伪静态比较麻烦。 2.动态页面优点：空间使用量非常小，一般几万条数据的网

爬虫之动态页面爬取

Don的博客

04-27

2万+

动态页面爬取

如何判断一个页面是否是动态页面

Yue_520的博客

11-30

7163

1.通过父页面判断子页面：查看href属性，如果href = IP地址，这个子页面就是一个静态网页，如果href = 属性，这个子页面是一个动态网页（href = 属性，这个属性需要通过js加载，js可以动态的修改页面数据，所以通过js加载的页面就是动态页面） 2.通过本页面判断：复制我们想要爬取的数据，在网页源代码中查找，如果在html中，这个页面就是静态页面，如果查找不到，说明我们想要的...

如何判断一个网页是否更新

Xkhbear的博客

12-03

6304

1. 根据http协议头在爬虫网页时，我们会向服务器发送head请求，而在返回的head头中，我们可以得到Last-Modifed，即网页最后的修改时间。但是这个判断主要在于静态页面，在动态页面中Last-Modifed只是服务器最后发送Res 2.基于局部敏感哈希的协同过滤算法之simHash算法

怎么区分静态网页和动态网页

b741759587的博客

05-05

3439

在建设网站时，会经常听到静态网页和动态网页，但是他们真正的区别是什么？接下来仔细分析下二者的区别。静态网页是网站建设的基础，静态网页和动态网页之间也并不矛盾，为了网站适应搜索引擎检索的需要，即使采用动态网站技术，也可以将网页内容转化为静态网页发布。一、静态web页面，一般指html： 1、在静态Web程序中，客户端使用Web浏览器（IE、FireFox等）经过网络(Network)连接...

怎么判断页面是动态还是静态

qq_43128070的博客

11-23

2745

静态网页:静态网页是以.html、.htm、.shtml、.xml作为后缀的网页。静态网页的内容是固定的，每个页面都是独立的页面不会根据浏览者的不同需求而改变。动态网页:使用ASP 或PHP 或 JSP 等作为后缀的网页。动态网页以数据库技术为基础，可以大大降低网站维护的工作量。 ...

怎样判断网页是动态加载的数据

bo_无问西东

02-08

2574

怎样判断是否是动态加载的数据 1.抓包工具 network 中的某个网页中的response，中返回的这个网页，在里面搜索是否有关键字 (ctrl+F )若没有，则是动态加载出来的 2.从全局搜索，然后自动定位到网站就可以找到这个动态加载的数据 ...

如何快速识别网页是静态、动态、还是伪静态的？

03-27

2872

简单总结：静态页面访问最快；维护较为麻烦。 动态页面占用空间小、维护简单；访问速度慢，如果访问的人多，会对数据库造成压力。使用纯静态和伪静态对于SEO(Search Engine Optimization:搜索引擎优化)没有什么本质的区别。使用伪静态将占用一定量的CPU占用率，大量使用会导致CPU超负荷。怎样快速区分静态网页和动态网页（看网页URL的后缀构成形式）： ...

【3】如何区分静态网页与动态网页

yx1166的博客

01-10

3710

本文转载地址：https://www.douban.com/note/420356458/ 静态页面，动态页面主要根据页面制作的语言来区分：　　静态页面运用语言：HTML（超文本符号语言）或XML（可扩展符号语言）　　动态页面运用语言：HTML＋ASP 或HTML+ASP.NET或 HTML＋PHP 或 HTML＋JSP 等。静态页面与动态的区别　　程序是否在服务器端运转，