【python】爬虫爬取豆瓣电影信息

最新推荐文章于 2026-05-17 09:42:08 发布

原创

最新推荐文章于 2026-05-17 09:42:08 发布 · 2k 阅读

标签

#python #http #html

收录于

该博客详细介绍了如何利用Python的requests和BeautifulSoup库爬取豆瓣电影Top250列表中的电影名称、导演和简介，并将数据保存到文件中。通过设置请求头、解析HTML和选择特定的CSS选择器来提取所需信息。

首先是获取网页：可以直接到豆瓣这个网页，查看网页的源代码。因为是静态的文本，所以就是可以直接在网页代码上面找到相关内容。然后就是找到爬虫需要的请求头。
在这里插入图片描述

看到头部分，然后将其curl（bash）部分复制下来，到https://curl.trillworks.com/
生成请求头。

在这里插入图片描述

然后解析网页：soup = BeautifulSoup(response.text, ‘html.parser’)
然后提取信息：
首先找到想要的信息的位置
在这里插入图片描述

复制他的selector例如
《肖申克的救赎》
#content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)
找到评价，导演得到想要的信息，依次复制selector
再然后进行数据的处理：
将提取的元素进行分解
a[i] = a[i].text
b[i] = b[i].text
c[i] = c[i].text
最后就是文件的写入：
fo.write(a[i])
fo.write(b[i])
fo.write(c[i])

爬虫代码：

import requests
from bs4 import BeautifulSoup
cookies = {
   
   
    'bid': 'E4gkXiSwBrM',
    'douban-fav-remind': '1',
    'll': '118088',
    '__yadk_uid': 'hkoioWDL1agCeIP3VyFfyXTl6SBJ1uf3',
}
headers = {
   
   
    'Connection'