Python爬虫——用Pycharm写一个爬虫程序，爬取糗图百科全部糗图，室友看了直呼牛逼

最新推荐文章于 2026-04-13 12:49:36 发布

原创

最新推荐文章于 2026-04-13 12:49:36 发布 · 5.3k 阅读

标签

#python #爬虫 #pycharm

收录于

一、前言

随着计算机技术的快速发展，数据量变得越来越大，而python作为数据分析强有力的工具，在数据分析方面很有优势，其强大的第三方库提供了很多强大的功能。我们只有先将数据爬取出来，才能进行数据分析。下面我就来介绍一下如何爬取糗图百科全部的糗图。

二、源码

import requests
import re
import os
import time


def main():
    # 响应头信息，进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/96.0.4664.45 Safari/537.36'
    }
    param = {
        '2670efbdd59c7e3ed3749b458cafaa37': ''
    }
    # 空列表 存放解析出来的正则表达式（图片的url）
    response_url = []
    response_url_all = []
    # 正则表达式 获取所有图片的链接地址
    ex = '<div class="thumb">.*?<img src="(.*?)" alt'
    # 获取整个页面的网页信息，以便对网页信息进行分析和数据存储
    # 通过分析发现共有14页页面
    for k in range(1, 14):
        url = 'https://www.qiushibaike.com/imgrank/page/' + str(k) + '/'
        response_text = requests.get(url=url, params=param).text
        response_url = re.