爬取猫眼电影TOP100电影信息并将其保存到数据库（电影名，主演，上映时间）

最新推荐文章于 2026-07-13 14:50:53 发布

原创

最新推荐文章于 2026-07-13 14:50:53 发布 · 2.3k 阅读

收录于

当前文章被以下社区和专栏收录：

该博客介绍了一个爬虫程序，用于抓取猫眼电影网站上的TOP100电影的详细信息，包括电影名称、主演和上映时间。程序使用了Python的urllib、re和pymysql库，通过正则表达式提取数据，并通过多线程进行网页抓取。最后，数据被存储到MySQL数据库中创建的movies表中。

import  re
from urllib import request
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
#猫眼电影Top100网址
import pymysql

url='http://maoyan.com/board/4'
films=[]
#获取TOP100所有页的网址
def get_all_url(url,page):
    url_li=[url]
    for i in range(page-1):
        new_url=url+'?offset=%d'%((i+1)*10)
        url_li.append(new_url)
    return url_li
#爬取网页信息
def get_info(url):
    header={'User-agent':'Google Chrome/67.0.3396.87'}
    req=request.Request(url,headers=header)
    with urlopen(req) as urlObj:
        return urlObj.read().decode('utf-8')
# get_info(url)
#利用正则表达式提取所需要的信息
def get_content(url):
    content=get_info(url)
    '''<a href="/films/1203" title="霸王别姬" class="image-link" data-act="boarditem-click" data-val="{movieId:1203}">
    <p class="star">
                主演：张国荣,张丰毅,巩俐
        </p>
    <p class="releasetime">上映时间：1993-01-01(中国香港)</p> 
    '''
    pattern = r'<a href="\/film