抓取豆瓣电影网页动态Ajax请求的数据

最新推荐文章于 2025-11-12 16:04:33 发布

原创最新推荐文章于 2025-11-12 16:04:33 发布 · 1.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Python 爬虫

当前文章被收录于：

Python 爬虫

10 篇文章 0 人学习

订阅专栏查看详情

Python

当前文章被收录于：

Python

10 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文展示了一个Python脚本，用于爬取豆瓣电影Top榜单的数据。通过使用urllib和ssl库，该脚本发送请求到豆瓣API并获取JSON格式的响应，解析后返回电影榜单信息。示例代码中包含了请求头设置、SSL上下文创建、数据读取及JSON解析等关键步骤。

import urllib.request
import ssl
import json

def ajaxCrawler(url):
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36"
    }
    req = urllib.request.Request(url, headers=headers)

    # 使用ssl创建未验证的上下文
    context = ssl._create_unverified_context()


    response = urllib.request.urlopen(req,context=context)

    jsonStr = response.read().decode("utf-8")
    jsonData = json.loads(jsonStr)
    return jsonData

url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"
info = ajaxCrawler(url)
print(info)