scrapy 将item存到mysql中（pymysql）

最新推荐文章于 2025-10-28 10:16:49 发布

原创

最新推荐文章于 2025-10-28 10:16:49 发布 · 5.1k 阅读

标签

#scrapy 存储 mysql

收录于

该文详细介绍了如何利用Scrapy框架配合pymysql库，将爬取到的item数据有效存储到MySQL数据库中，特别强调了在ubantu环境下进行的操作，包括items.py的定义、pipelines.py的配置和设置。

本文将介绍如何将抓好的item数据存入到mysql中

声明：本文使用的python交互工具为pymysql并非mysqldb，因为网上使用pymysql存入数据的相关文章较少，所以写了这篇文章供大家参考

环境：ubantu

准备工作：

items.py

将想要抓的数据累出来，下面是我要抓的数据：（我的项目名为wens）

class WensItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    img_url = scrapy.Field()
    name = scrapy.Field()
    update_time = scrapy.Field()
    update_word = scrapy.Field()
    author = scrapy.Field()

steam.py（我的爬虫脚本）

当然也别忘了引入