采集动态页面数据（采集JS加载的网页信息）

原创 已于 2025-04-25 10:59:56 修改 · 829 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#经验分享 #爬虫 #javascript #大数据 #前端
于 2023-05-11 16:51:20 首次发布
简数采集器支持JS异步加载数据，适用于动态网页内容抓取。当列表提取器无法直接显示内容时，可启用此功能，但可能不适用于所有JS加载页面，且会降低采集速度。文章详情提取器暂不支持此功能。

        有部分网站是用JavaScript脚本加载渲染的动态网页页面，这种页面的特点是内容一般用异步加载的，即不是一次加载完成的，还有其网页html源码里无法搜索到内容，所以要获取动态页面的数据内容比较困难。

        简数采集器的JS异步加载数据功能可以采集使用JS脚本加载的动态页面，在列表提取器窗口为空白，没有显示出要采集的列表页内容时可尝试使用。

        使用方法很简单，只需在【列表提取器】页面右上方，勾上【使用JS动态数据】，再点击保存按钮，然后刷新页面，查看页面内容是否能正常显示；

使用中可能遇到的常见问题：

  1、JS异步加载，目前只能用在列表提取器，文章详情提取器暂不支持；

  2、有些页面使用JS加载功能后，也不一定能保证加载出页面内容的，可能还使用了其他技术渲染导致的；

  3、使用js动态加载功能，会减慢采集速度；

        

datascome
关注
Python爬虫之爬取动态页面数据
热门推荐
Mi1k7ea
11-01 3万+
很多网站通常会用到Ajax和动态HTML技术，因而只是使用基于静态页面爬取的方法是行不通的。对于动态网站信息的爬取需要使用另外的一些方法。 先看看如何分辨网站时静态的还是动态的，正常而言含有“查看更多”字样或者打开网站时下拉才会加载内容出来的进本都是动态的，简便的方法就是在浏览器中查看页面相应的内容、当在查看页面源代码时找不到该内容时就可以确定该页面使用了动态技术。 对于动态页面信息的爬取，一
关于网页动态数据获取的知识学习（2）
david_xgl的专栏
07-25 1003
三种获取js加载的动态内容的方法 有些网站的比较重要的内容可能会采用javascript动态加载内容，防止采集，获取其中的信息，但是我们在采集的时候还需要获取到这些内容， 下面就介绍三种可以获取到javascript内容的方法，三种方式的原理其实是一样的，就是通过浏览器引擎来解析javascript。 1）、利用WebBrowser控件 这个方式大家也都知道，也就不多说了，说几个比
javaScript:DOM元素的获取（静态/动态获取）
qq_52799985的博客
09-05 2895
dom操作其实在前面的文章中已经用到很多次了，但是一直没有系统性的总结，接下来的几篇文章，主要来总结dom操作以及dom操作相关的案例（小游戏），比如说：选字游戏，连连看，打地鼠，多球碰撞，随机抽签，无缝轮播，原生js绘制时钟等等。二.DOM元素获取的常用方法（重点）
不用代码免费采集网站内容_看一遍就能上手的火车头采集图文全流程教程
weixin_44439208的博客
01-11 2379
火车采集器(LocoySpider) 是一个供各大主流文章系统，论坛系统等使用的多线程内容采集，支持采集其他网站文章、下载下本地，统一上传到指定文件夹。
JS获取动态添加的元素
weixin_42839080的博客
10-14 1万+
在页面的渲染中,我们经常用遇到动态添加的DOM元素,那么在获取这些元素的时候或则为这些DOM元素的时候,我们有下面三种处理方法: // 1. 在模板引擎里面添加行内事件 // 2. 利用事件的委托获取(常用) // 3. 在ajax的监听响应完成函数后面获取 一 在模板引擎里面添加行内事件 添加行内事件就是在标签里面添加事件,这样就可以直接获取到动态添加的元素. <!-- 1.准...
Python 爬虫：获取 JS 动态内容—，一个回答引发热烈讨论
weixin_58134620的博客
04-03 3184
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
一个动态加载的script文件，如何爬取
之度的博客
09-16 1643
巴乐兔网站，他们的下一页就是动态加载下来的，url的地址是通过页面的按钮加上script文件加载下来。 解决思路：下一页标签的id或者class名字，复制这个东西，在源码页中查找。 例子： import scrapy import requests from lxml import etree import execjs import re class DemoSpider(scrapy.Spider): name = 'demo' #allowed_domains = [''ww
动态页面采集技术
2302_81240667的博客
05-19 1456
本文探讨了动态页面的生成、交互及采集技术。动态页面通过JavaScript等技术实现内容动态加载，具有交互性强和反爬虫机制的特点。动态内容的生成依赖于Ajax、WebSocket等技术，而交互则通过JavaScript事件监听、DOM操作和状态管理实现。前端技术如React、Vue等框架支持动态渲染，后端技术如PHP、JSP等则负责服务器端动态生成。动态页面采集技术包括逆向回溯法、浏览器自动化工具和API调用，这些方法各有优缺点，适用于不同场景。此外，URL参数、Cookie和Session在动态页面采集中
全场景网页数据采集指南！覆盖普通 / JS动态 / 特殊网页，新手照着做就行！
最新发布
moshi_6的博客
12-30 1553
本文提供了一套全场景网页数据采集解决方案，涵盖13种常见网页结构的自动化采集方法。 1、针对新闻列表、商品列表等需要跳转详情页的场景，可自动抓取链接并采集完整内容； 2、支持JS动态加载、滚动加载等特殊页面； 3、能处理表格数据、JSON格式以及网站地图提取； 4、还提供便捷的书签采集和关键词泛采集功能。 这些方案覆盖了从静态文本到动态加载的各种复杂网页结构，通过标准化流程简化配置，帮助用户高效获取所需数据，即使新手也能快速上手操作。
Selenium 如何定位 JavaScript 动态生成的页面元素
ip16yun的博客
04-19 3922
如果我们直接用 Selenium 的 find_element 方法去定位元素，可能会出现找不到元素的错误，因为页面还没有加载完成。注意，我们使用 presence_of_element_located() 方法来等待元素出现，以避免 Selenium 尝试访问尚未出现的元素而导致定位失败。在上面的代码中，我们使用 WebDriverWait 和 expected_conditions 模块等待元素出现，直到元素的 ID 属性值为 dynamic_textbox 的文本框元素出现为止。
爬虫抓取动态网页的6种方法
qq_20116223的博客
02-25 5636
一，js 逆向分析 二，使用WebKit 渲染引擎 三，使用Selenium 四，使用 Pyppeteer 五，使用微软开源的自动化神器 Playwright 六，使用 Splash
动态加载内容爬取，Ajax爬取典例
m0_61791601的博客
07-20 1577
本问包含内容，Ajax数据获取，线程池简单使用，xlwt模板数据写入exel有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。下面我们以新发地为例获取Ajax动态加载的内容。...
Python爬虫进阶——爬取数据js动态加载的网页
zhiyan6415的博客
04-29 1万+
上一篇章，讲解了python简单爬取网页静态数据的方法。今天，来讲讲如何用python爬去数据用js动态加载的网页。 所用到的库selenium以及与它搭配的webdriver，用来打开浏览器，从网页中读取数据的过程，这样才能找到数据。 代码如下： from selenium import webdriver import time import xlwt import datetime '''get the url of the aim''' url = 'https://m.dewu.com/rout
js 抓取网页数据
weixin_45784582的博客
11-19 1万+
js抓取网页数据，其实很简单，没那么复杂，需要使用3个函数配合使用： indexOf 返回某个指定的字符串值在字符串中首次出现的位置 lastIndexOf 返回一个指定的字符串值最后出现的位置 substring 提取字符串中介于两个指定下标之间的字符 简单来说就是 获取元素的开始位置、结束位置，如何进行提取，得到结果。 一、获取网页数据 二、封装提取数据的方法 getAlarms(val,later,before){ var alarm=val; //某个指定字符之后
如何使用JavaScript采集网页内容
我点评的博客
07-19 1917
var doc = parser.parseFromString(sourceCode, \text/html\这段代码将使用DOM解析sourceCode中的HTML代码，并将结果保存到doc变量中。使用JavaScript采集网页内容需要经过获取源代码、解析源代码、获取需要的内容和输出结果四个步骤。其中，获取源代码和解析源代码可以使用XMLHttpRequest和DOM对象实现，获取需要的内容可以使用DOM对象的方法获取，输出结果可以使用console.log或其他方法实现。第三步：获取需要的内容。
网络数据采集 （爬虫） —— 加载动态页面（ 4 ）
qq_54699261的博客
03-13 385
网络数据采集 （爬虫） —— 加载动态页面（ 4 ） 1.了解Ajax Ajax -------> 为页面生成动态内容的一种技术 Asynchronous JavaScript and XML（XML已经被JSON取代了，没有换成新名字） 浏览器可以在不中断用户体验的情况下，向服务器发起异步请求（在浏览器后台发生，用户感知不到） 服务器在收到浏览器发出的异步请求之后会返回数据，数据通常都是使用JSON格式 浏览器获得JSON数据之后，就会使用JavaScript对页面进行局部渲染，生成
js获取页面元素的 7种方法
jerisem的博客
07-31 9683
1、通过ID来获取页面元素： document.getElementById('id'); <div id='box'></div> <script> let box = document.getElementById('box'); console.log(box); // 输出是整条语句 <div id='box'></div> </script>
纯js也能爬取网站内容哦, 并导出到json文件
dhj58369046的博客
04-19 1357
采集工具千千万，但大多数都会一定程度上依赖后端，为了简洁考虑，试着写了一个纯前端采集网站数据的工具。支持分页采集数据并导出到json
爬取JS动态加载的页面
Zerokas的博客
04-14 1万+
参考知乎：https://www.zhihu.com/question/21471960/answer/154098407 爬取网页上的评论：http://music.163.com/#/song?id=86375 请求评论数据的参数：params 和 encSecKey ，同时在Name栏目可以清楚地看到处理该参数的 js 文件为 core.js 美化JS代码后搜索这两个参数 ...
使用JavaScript获取和解析页面内容的完整指南
百锦再的博客
03-25 1万+
本文详细介绍了如何使用JavaScript获取和解析页面内容，涵盖了从基础到高级的各种技术。获取页面HTML：使用outerHTMLinnerHTML等方法获取完整或部分的HTML代码DOM遍历和选择：使用各种选择器方法和遍历技术定位特定元素内容提取：从元素中提取文本、属性和结构化数据高级技术：XPath、TreeWalker、MutationObserver等高级API的使用动态内容处理：监控和等待动态加载的内容性能优化：批量操作、事件委托等提高性能的技术安全考虑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值