基于 Selenium 和 Pandas 的大麦网爬虫项目

1. 项目概述

本项目通过使用 Selenium 和 Pandas 库来实现对大麦网演出信息的自动爬取，并将数据保存为 CSV 文件。爬虫能够抓取演出信息如图片地址、演出标题、演出地址、时间、售票价格及售票状态。多线程技术用于提高爬取效率，日志记录用于监控程序运行状态

2. 技术栈

Selenium：用于模拟浏览器操作，自动化执行点击、查找元素等任务

Pandas：用于将爬取的数据存储为 CSV 文件，方便后续数据分析和处理

Queue 和 Threading：用于多线程处理爬虫任务，使得爬取过程更加高效

Logging：记录程序运行的关键步骤，便于调试和监控

3. 项目流程

3.1初始化 Selenium：启动 Chrome 浏览器，设置为无头模式，确保后台运行

3.2爬取网页数据：模拟用户点击，爬取每个演出的图片、标题、地址、时间、售票价格等信息

3.3数据存储：将数据保存为 CSV 文件，合并并去重

3.4多线程处理：使用 Queue 和 threading 进行任务并行执行，提高爬取效率

4.代码分步讲解

4.1 依赖库的导入以及日志配置

import os
import threading
import time
from queue import Queue
import pandas as pd
from selenium.webdriver.chrome.service import Service
from selenium import webdriver
from selenium.webdriver.common.by import By
import logging


logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

• os：用于文件操作，判断 CSV 文件是否存在
• threading 和 Qu