scrapy爬虫框架(五)-CrawlSpider

最新推荐文章于 2024-07-08 11:34:45 发布

原创最新推荐文章于 2024-07-08 11:34:45 发布 · 207 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

本文介绍如何使用Scrapy框架中的CrawlSpider组件，通过链接提取器实现对微信小程序社区文章的自动化爬取。从创建爬虫文件开始，到定义允许的域名、起始URL和规则，再到解析详细页面，提取文章标题、作者、时间和正文，最后生成WxappItem对象并输出。

scrapy爬虫框架(五)-CrawlSpider

通过CrawlSpider的链接提取器爬取微信小程序社区的文章

mark

创建爬虫文件

此前要进入爬虫文件夹，使用cd命令,再创建模版（templ）爬虫

scrapy genspider -t crawl 爬虫名 网站域名

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

from wxapp.items import WxappItem
class WxappspiderSpider(CrawlSpider):
    name = 'wxappSpider'
    allowed_domains = ['wxapp-union.com']
    start_urls = ['http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1']

    rules = (
        Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'),  follow=True),
        Rule(LinkExtractor(allow=r'.+article-.+\.html'), callback="parse_detail", follow=True)
    )

    def parse_detail(self, response):
        title = response.xpath("//h1[@class='ph']/text()").get()
        links = response.xpath("//p[@class='authors']")
        author = links.xpath(".//a/text()").get()
        time = links.xpath(".//span[@class='time']//text()").getall()
        article = response.xpath("//td[@id='article_content']//text()").getall()
        article = "".join(article).strip()
        item = WxappItem(title=title, author=author, time=time, article=article)
        yield item