使用爬虫爬取猫眼电影top100的信息

最新推荐文章于 2025-04-10 00:24:20 发布

原创

最新推荐文章于 2025-04-10 00:24:20 发布 · 1.7k 阅读

收录于

当前文章被以下社区和专栏收录：

本文介绍了如何使用爬虫抓取猫眼电影排行榜前100名的详细信息，包括电影名称、主演、上映时间和评分等。通过分析页面URL中的offset参数实现翻页，提取所需数据并保存到文件。

分析：

第一步：

确定我们所需要抓取的目标站点为http://maoyan.com/board/4，打开之后便可以看到榜单信息
在这里插入图片描述

第二步：

排名第一的电影是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分、图片等信息。（即是我们需要提取的信息）

第三步：

进入主页之后发现一页只有10个电影的信息，而我们需要爬取的是top100,当我们点击第二页的时候，发现页面的URL比之前多了一个参数（https://maoyan.com/board/4?offset=10），当我们再次点击下一页的时候URL变为了（https://maoyan.com/board/4?offset=20）因此我们猜测offset是一个代表偏移量的参数，我们可以通过这个变量来控制我们访问的页面，以便可以访问top100所有的数据。

因此步骤应该分为：
① 提取猫眼主页页面信息
② 通过正则表达式从信息中匹配出我所需要的信息
③ 通过offset参数调整页面
④ 将结果打印并保存至文件

import requests
import re
import json
def get_one_page(url):
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko'
    }
    response = requests.get(url,headers=headers)
    if response.status_code== 200:

标签