Python获取中国大学MOOC某课程评论及其参与人数

原创

于 2023-02-23 15:30:58 发布 · 2.1k 阅读

·

2

·

标签

#python #爬虫

该文章介绍了如何使用Python的requests库从慕课网爬取课程的参与人数和学员评论。首先，通过获取首页的csrfKey，然后构造请求获取课程详情页的参与人数。接着，解析评论接口，通过循环获取多页评论数据，并将结果保存到文本文件中。

在这里插入图片描述

文章目录

前言
一、需求
二、分析
三、运行结果

前言

本系列文章来源于真实的需求
本系列文章你来提我来做
本系列文章仅供学习参考

一、需求

1、课程参加人数

在这里插入图片描述

2、课程学员名称及其评论

在这里插入图片描述

二、分析

首先查看网页源代码是否有需要的数据

课程参加人数

在这里插入图片描述

课程学员名称及其评论

F12 打开浏览器工具进行抓包分析

课程学员名称及其评论

通过浏览器快速重新发起接口请求（Replay XHR),测试发送成功

在这里插入图片描述

分析接口参数

csrfKey 动态
courseId 课程id 固定
pageSize 页面固定
orderBy 固定

在这里插入图片描述

找到csrfKey来源，构造请求即可获取评论接口数据

通过全局搜索当前页面接口并未发现csrfkey

在这里插入图片描述

在进入Mook官网首页通过搜索csrfkey的值可以定位来源(清除cookie重新刷新获取首页接口数据，进入课程详情页刷新对比接口数据即可定位)

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。